Python爬虫入门教程 16-100 500px摄影师社区抓取摄影师数据

1. 500px摄影师社区-写在前面

今天要抓取的网站为 https://500px.me/ ,这是一个摄影社区,在一个摄影社区里面原本应该爬取的是图片信息,但是我发现好像也没啥有意思的,突然以为爬取一下这个网站的摄影师更好玩一些,因此就有了这篇文章的由来。web

70

基于上面的目的,我找了了一个不错的页面 https://500px.me/community/search/user
在这里插入图片描述svg

不过细细分析以后,发现这个页面并不能抓取到尽量多的用户,由于下拉一段时间,就不能继续了,十分糟心,难道我止步于此了么,显然不可能的,一番的努力以后(大概废了1分钟吧),我找到了突破口,任意打开一个用户的我的中心页,就是点击上述连接的任意用户头像,出现以下操做。网站

在这里插入图片描述

用户code