业界动态
python网页爬虫+简单的数据分析
2024-11-19 03:09

python网页爬虫+简单的数据分析

1.我们今天爬取的目标网站是:http://pm25.in/ 2.需要爬取的目标数据是:该网站所有城市的空气质量数据(主要包括AQI、PM2.5/1h、PM10/1h、CO/1h、NO2/1h、O3/1h、O3/8h、SO2/1h)。 3. 我们的最终目标是:将这些数据爬取出来,并写入到.csv/.xlsx文件中,最后通过读取.csv/.xlsx文件的数据,做一下简单的数据分析。 使用的工具是Spyder(ps:个人觉得Spyder要PyCharm好使)

这里我用到的库和模块比较多,所有代码量比较少。缺少相关模块的同学自行下载应用即可,这里推荐通过镜像网址(pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests)下载,下载速度会快很多,具体使用方法请参考https://mirrors.tuna.tsinghua.edu.cn/help/pypi/ 1. 引入该项目需要用到的相关库和模块

 

2. 接下来写get_all_cities()函数,用来获取所有城市名称及url 其实这里应该先写主函数,不过为了演示效果就先写了get_all_cities()函数。 2.1 创建一个空列表city_list 2.2 通过requests.get(url)构造一个向服务器请求资源的Request对象,设置请求超时时间为60s。 2.3 这里我们指定Beautiful的解析器为“html.parser” 2.4 接下来就要爬取网站中所有城市名称了。以北京市为例,我们首先需要打开待爬取网站并查看网页代码,可以看到“北京”这个城市是隶属于第一个“bottom”,接下来就是将所有“bottom”下的城市全部获取,这里我们使用BeautifulSoup来获取。 python网页爬虫+简单的数据分析 2.5 将获取到的城市名称写入列表city_list中,具体代码如下:

 

2.6 我们先来看一下运行该段函数代码的结果是什么样的。 python网页爬虫+简单的数据分析 2.7 可以看到已经成功读取到该网站所有城市名称了。

3.下面写get_city_aqi()函数,用来获取所有城市的AQI值 3.1 以北京市为例,如下图,我们需要获取的数据是AQI对应的44、PM2.5/1h对应的25、PM10/1h对应的43、CO/1h对应的0.5…; python网页爬虫+简单的数据分析 3.2 接下来就是如何获取具体的“value”和“caption”了。 python网页爬虫+简单的数据分析 3.3 我们先用requests.get(url)构造一个向服务器请求资源的Reques,请求超时时间设置为60s。同样指定Beautiful的解析器为“html.parser”。接着新建一个div_list用来存放按内容查找到的节点的数值。然后创建一个空的city_aqi列表来存放for循环获取到的所有AQI、PM2.5/1h、PM10/1h、CO/1h、NO2/1h、O3/1h、O3/8h、SO2/1h,最后返回并通过.append写入列表。

具体代码如下:

    以上就是本篇文章【python网页爬虫+简单的数据分析】的全部内容了,欢迎阅览 ! 文章地址:http://keair.bhha.com.cn/news/1120.html 
     文章      相关文章      动态      同类文章      热门文章      栏目首页      网站地图      返回首页 康宝晨移动站 http://keair.bhha.com.cn/mobile/ , 查看更多   
最新文章
厦门三区小学一年级已经实现随迁子女公办学位自由?这些学校招收积分入学学生
近日六区公布积分入学学位积分入学学位剩余近日,六区公布可以提供给随迁子女积分入学的学位,今年总积分入学学位是18135+,之所
大动作!全球资管巨头抄底中国房地产
外资巨头宣布抄底中国资产,这次瞄准的是不动产。1全球资管巨头抄底中国房地产!全球资管巨头施罗德资本与浙江西子国际达成战略
韩国技术改造美国船厂,韩华称十年内实现年产10艘
【文/观察者网 山猫】去年年底,韩国韩华集团以1亿美元的价格在美国收购了一座原属于挪威业主的造船厂——费城造船厂,随即船厂
假山假景假脸,短剧《窃心》爆火,让多少内娱流水线民国剧脸红
今年的国剧市场如同过山车,从巅峰到谷底再重攀高峰,一路跌宕起伏。比如《藏海传》点燃整个国剧市场,引起全民追剧热潮,而本以
军事晚报AI速递:今日军事热点一览 丨2025年8月21日
  军事领域动态复杂,事件可能迅速改变全球安全格局。我们整理了今日最重要的军事新闻,包括关键行动和政策变化,让您清晰把握
原包PA66 GVS-5H 瑞士EMS 耐化学性
C-Cushioning Charm, Hermione spluttered, as Ron pulled her to her feet, but toHarrys horror he saw that she was no longe
征信逾期五年超十次?别慌!2025最新解密与攻略,速来抄作业!
征信逾期五年超十次?别慌!2025最新解密与攻略,速来抄作业!朋友你是不是也遇到过这类情况?征信逾期五年超十次,感觉天都塌了
SAB47减速机
上海弗麦传动机械有限公司 主要材料 1、箱体:铸铁; 2、齿轮:低碳合金钢,碳、氮共渗处理(精磨后保持齿面硬度HRC60,硬层厚度
九类危险品进口流程?
九类属于杂类,常见的UN3077 UN3082九类也是危险品里面最不危险品的一类全国有40%的危险品是从上海港进口的。危险品进口一定要提
乡村学校少年宫丨池淮镇中心小学:快乐不“打烊” 相伴共成长
学校依托“乐善课程体系”,深入挖掘乡土特色,立足学情,开设了“棋”思妙想、“鼓乐”铿锵、“武”动奇迹、“琴”声悠扬、“足