Python爬取爱奇艺VIP视频
可是这个网站只提供了在线解析视频的功能，没有提供下载接口，若是想把视频下载下来，咱们就能够利用网络爬虫进行抓包，将视频下载下来。php
2、实战升级html
分析方法相同，咱们使用Fiddler进行抓包：正则表达式
咱们能够看到，有用的请求并很少，咱们逐条分析。咱们先看第一个请求返回的信息。编程
能够看到第一个请求是GET请求，没有什么有用的信息，继续看下一条。json
咱们看到，第二条GET请求地址变了，而且在返回的信息中，咱们看到，这个网页执行了一个POST请求。POST请求是啥呢？它跟GET请求正好相反，GET是从服务器得到数据，而POST请求是向服务器发送数据，服务器再根据POST请求的参数，返回相应的内容。这个POST请求有四个参数，分别为time、key、url、type。记住这个有用的信息，咱们在抓包结果中，找一下这个请求，看看这个POST请求作了什么。api
很显然，这个就是咱们要找的POST请求，咱们能够看到POST请求的参数以及返回的json格式的数据。其中url存放的参数以下：浏览器
xfsub_api\/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http%3A%2F%2Fwww.iqiyi.com%2Fv_19rr7qhfg0.html&type=&xml=1
这个信息有转义了，可是没有关系，咱们手动提取一下，变成以下形式：缓存
xfsub_api/url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
咱们已经知道了这个解析视频的服务器的域名，再把域名加上：服务器
http://api.xfsub.com/xfsub_api\url.php?key=02896e4af69fb18f70129b6046d7c718&time=1505724557&url=http://www.iqiyi.com/v_19rr7qhfg0.html&type=&xml=1
这里面存放的是什么东西？不会视频解析后的地址吧？咱们有浏览器打开这个地址看一下：网络
果真，咱们能够看到视频地址近在眼前啊，URL以下：
http://disp.titan.mgtv.com/vod.do?fmt=4&pno=1121&fid=1FEA2622E0BD9A1CA625FBE9B5A238A6&file=/c1/2017/09/06_0/1FEA2622E0BD9A1CA625FBE9B5A238A6_20170906_1_1_705.mp4
咱们再打开这个视频地址：
瞧，咱们就这样获得了这个视频在服务器上的缓存地址。根据这个地址，咱们就能够轻松下载视频了。
PS：须要注意一点，这些URL地址，都是有必定时效性的，很快就会失效，由于里面包含时间信息。因此，各位在分析的时候，要根据本身的URL结果打开网站才能看到视频。
接下来，咱们的任务就是编程实现咱们所分析的步骤，根据不一样的视频播放地址得到视频存放的地址。
如今梳理一下编程思路：
用正则表达式匹配到key、time、url等信息。
根据匹配的到信息发POST请求，得到一个存放视频信息的url。
根据这个url得到视频存放的地址。
根据最终的视频地址，下载视频。
3、编写代码
编写代码的时候注意一个问题，就是咱们须要使用requests.session()保持咱们的会话请求。简单理解就是，在初次访问服务器的时候，服务器会给你分配一个身份证实。咱们须要拿着这个身份证去继续访问，若是没有这个身份证实，服务器就不会再让你访问。这也就是这个服务器的反爬虫手段，会验证用户的身份。
----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------