今天开始尝试爬取一下知乎,看一下这个网站都有什么好玩的内容能够爬取到,可能断断续续会写几篇文章,今天首先爬取最简单的,单一文章的全部回答,爬取这个没有什么难度。web
找到咱们要爬取的页面,我随便选了一个mongodb
https://www.zhihu.com/question/292393947
json
1084
个回答,数据量能够说很是小了,就爬取它吧。api
爬取使用requests
存储使用 mongodb 就能够了svg
爬取地址通过分析以后,找到了一个能够返回json的数据接口网站
提取连接,看一下各参数的意思,方便咱们程序模拟code
https://www.zhihu.com/api/v4/questions/292393947/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_co