信息记录材料

首页 > 刊期 > 2021 > 9期 > 记录：数据与存储

基于 Python 的网页数据分析及可视化应用

李传科，肖自乾

【摘要】随着互联网平台的大量应用，各种网络数据呈现出多、杂、乱等现象，如何高效地获取有效网络数据问题显得尤为突出。本文基于 Python 语言，使用 Scrapy 网络爬虫框架实现网页信息的抓取，进而针对数据进行 Pandas 数据处理和 jieba 分词统计分析出有效数据，并使用 Matplotlib 和 Pyecharts 可视化工具展现出分析数据，便于人们快速掌握网络信息中的有效数据。

【关键字】Python；网络爬虫；数据分析；jieba 分词；可视化