信息记录材料

首页 > 刊期 > 2023 > 6期 > 信息：技术与应用

基于 Python 的网络爬虫技术研究

崔欢欢

【摘要】随着网络中数据量的快速增长，网络爬虫作为搜索引擎中非常关键的一项技术，如何准确、高效地批量获取到更具价值的信息一直是其研究难点。针对此问题，本文基于 Python 语言的 Scrapy 框架展开了深入研究，在此基础上构建了通用的网络爬虫框架，并针对其关键模块的功能实现进行了详细阐述，为相关研究提供了一定的参考价值。

【关键字】网络爬虫；Python 语言；Scrapy 框架