ISSN 1009-5624 CN 10-2021/TQ    主管:中国乐凯集团有限公司    主办:北京乐凯科技有限公司

中国知网全文收录期刊
万方数据库收录期刊
RCCSE中文学术期刊
维普资讯网/超星域出版 全文收录
中国核心期刊(遴选)数据库收录期刊
首页 > 刊期 > 2023 > 4期 > 信息:技术与应用
基于 Python 的网络爬虫的设计与实现
郭 婺,郭 建,张劲松,石翠萍,刘道森,刘 超

【摘要】在如今“互联网 +”的新时代背景下,大数据技术、人工智能技术、应用程序技术等现代科技与现代社会的融合日渐紧密。正因如此,Python 以低成本、低难度、开放化、简洁化等诸多特点,从编程语言领域中脱颖而出,长期占据各大编程语言排行榜的领先地位,受到使用者的青睐和好评。本文主要针对基于 Python 的网络爬虫系统的设计与实现展开探究与讨论。系统采用 Python 做爬虫语言,采用 beautifulsoup 库进行数据爬虫,数据处理请求连接采用Resquests 多线程方式进行 URL 处理。首先使用 Python 中的 Scrapy 框架定向抓取股票信息,通过定向 URL 爬取股票信息并存入数据库,最后通过数据可视化的形式对爬虫数据进行呈现。

【关键字】Python;网络爬虫系统;互联网 +