首先观察发现,中国天气网文字版按地区分成8个部分。
对应的url简单的用缩写表示:‘hb’, ‘db’, ‘hd’, ‘hz’, ‘hn’, ‘xb’, ‘xn’, ‘gat’
检查网页源代码,查看标签情况,找到我们需要的城市编码。
再折叠起来查看标签大体情况。
以华北为例,可以发现,其下总共有5个省/直辖市,分别是北京,天津,河北,山西,内蒙古,在 div class=“conMidtab” 标签下,每一个省对应一个 div class=“conMidtab2” 标签。
展开:
可以发现我们需要的城市编码以及城市都存储在 td width=“83” height=“23” 中,接下来可以利用下path,beautifsoup4,正则进行提取,这里我选择正则。
到此分析的已经差不多了,但是这里需要注意的是: 单单提取这个标签的确可以拿到我们需要的内容,但是如下图所示,一个页面中包含了7天的预测信息,有6天是隐藏的,要进行过滤,不然就相当于获得了重复了7次的城市编码。
import re import requests import pymysql # 定制请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36' } # 用列表存储爬取下来编码和城市名 cites_codes = [] # 爬取解析一个网页的函数 def parse_url(url): response = requests.get(url, headers=headers) text = response.content.decode('utf-8') # 先滤去后面六个,只留下第一个 info = re.findall( r'<div class="conMidtab">.*?<div class="conMidtab" style="display:none;">',text,re.DOTALL)[0] # 获得我们要的信息 infos = re.findall( r'<td width="83" height="23".*?<a .*?weather/(.*?)\.s.*?>(.*?)</a>', info, re.DOTALL) # 获取的信息遍历存入列表 for i in infos: city_code = [i[1],i[0]] cites_codes.append(city_code) # 存储到数据库函数 def store_2_mysql(): # 连接数据库 conn = pymysql.connect(host='localhost', user='root', password='712688', database='test_demo', port=3306) cursor = conn.cursor() # 遍历列表存入数据库 for i in cites_codes: sql = ''' insert into city_code values(0,'%s','%s')''' % (i[0], i[1]) cursor.execute(sql) # 提交 conn.commit() conn.close() # 主函数遍历全部八个地区 def main(): base_url = 'http://www.weather.com.cn/textFC/{}.shtml' cites = ['hb', 'db', 'hd', 'hz', 'hn', 'xb', 'xn', 'gat'] # 获得每个地区的url for i in cites: url = base_url.format(i) # 开始爬取一个地区的信息 parse_url(url) # 存储到数据库中 store_2_mysql() if __name__ == '__main__': main()
查看数据库中存储情况: