昨晚，我在家里想着如何更高效地获取法律法规文本，随即上网寻找可以下载相关文件的网站。于是决定问一下ChatGPT，它是否能帮我找到更多的资源。果不其然，ChatGPT给出的内容丰富。通过它提供的链接，我成功找到了北大法律数据库，这个网站不但收录了各种法律法规和规章制度，还详细标注了每个法律的修改时间。打开网站后，我发现可以选择AI版本来查询，也可以浏览只有法律法规条文的纯净版本。
看到这些内容，我马上联想到广东省应急管理厅的法律法规页面，并觉得可以利用Python的requests库将这些文本自动摘取下来。30日一到办公室，忙完其他工作事项后，我立刻开始动手实施这个想法。首先，我写了一个自动化程序，用于打开网页，这是比较简单的一步。接下来，当我打算使用Python代码摘取网页中的文本时，我按以往的经验，使用谷歌浏览器的开发者模式（F12）定位到需要的文本内容，并将这些定位信息应用到Python代码中以进行数据摘录。
然而事情并没有我想象得那么顺利。北大法律数据库对于数据的保护措施非常严密，我在右侧面板中一直找不到法律文本的位置。经过反复尝试，我终于发现了文本的位置，但它被标记为隐藏文本（<input type="hidden" value=".....）。这让我有些无奈，于是我再次求助ChatGPT，问它有没有办法处理这种隐藏的文本。ChatGPT很快给出了建议，并帮助我写了一段Python代码。我在VS Code上模拟运行了一下，但第一次尝试以失败告终。随后，我打开了北大法律数据库
几个其他类似的网页，想找找看有没有相似的特点。经过仔细观察，我发现这些文本元素的一个共同特点是（/html/body/input[56]）。
于是，我把这个特点告诉ChatGPT，试图通过这种方式定位文本。我尝试了三四次，但每次都失败了，程序反馈“未能找到正文内容。”
后来，我意识到开发者模式中的定位参数是会变化的，短时间内通过这种方式获取数据可能有点困难。于是，我决定退而求其次，关闭开发者模式，转而使用键鼠自动化程序操作。我选择了全选并复制粘贴到Word文档中，出乎意料的是，粘贴结果非常理想，中间的法律法规条文非常完整，只是前后有些杂乱无章的文本。
在这个过程中，我也发现了一些规律，比如删除某个特定字段前的内容就可以保持条文的完整性，尾部的一些文本也有相似的特点。于是，我请ChatGPT帮助我写一个Python代码，将这些文本处理步骤整合到一个模块中，作为影刀程序的一部分进行调用。运行后，结果非常成功。很快我的文件夹里就生成了一堆法律法规文件，每个文件还包含了生效的时间。这个自动化处理的过程实在是太棒了。
明天再看下能否下载更多的内容。