- 网址：http://cn.match.com
- 由于该网站一次最多只能加载2000个用户，所以要分别爬取各个国家城市的用户信息。
- 网站上的国家对应的编号CountryCode是js动态加载的。
- 返回的json中有个'HasStates'字段,判断是否为True，生成不同的city_url。
if country['HasStates']: curl = 'http://cn.match.com/MainService//GetStatesByCountryCode?countryCode='+str(country['Code']) else: curl = 'http://cn.match.com/MainService//GetCitiesByCountryCode?countryCode='+str(country['Code']) - 最后得到所有城市的搜索url，保存到本地，供读取使用。
- 返回的json中有个'HasStates'字段,判断是否为True，生成不同的city_url。
- 重写start_requests()方法，读取所有城市的url，发送请求。
- 返回json数据，使用parse()解析，
- 首先获取当前页，用来翻页爬取。
- 请求每个用户页面。
- parse_item()解析用户页面，获取用户所有图像url，返回item。
- 在pipelines中自定义MyspiderPipeline类，继承ImagesPipeline，下个每个图像保存格式为 项目名/user_id/图像名
- 网址：https://www.xiaohongshu.com
- 首先爬取所有的帖子，把用户id和帖子id存储到mongodb中。
- 读取所有用户/帖子id，构造含有用户id的request headers，发送到
url = 'https://www.xiaohongshu.com/web_api/sns/v1/note/{}/image_stickers'.format(item['t_id']) - 解析json数据，返回item。
- 网址：http://www.hongniang.com
- 从搜索的第一页开始爬取，在parse()中使用xpath解析页面，获取user_id，使用正则匹配用户age，循环发送用户页面请求，然后翻页。
- parse_item()使用xpath解析页面，获取用户图像url，返回item
- 网址：http://www.mafengwo.cn
- 首先在网站中获取所有城市的编号，生成游记url，发送请求。
- 在游记页面中获取用户个人url，进入后获取用户每个游记信息。
- 进入每个游记，获取图像url，返回item。
- 由于数据较多，在settings增加REDIS_HOST='10.8.3.6'，REDIS_PORT = 6379，更改为分布式，部署到服务器。
- 网址：http://www.95195.com
- 该网站有三个搜索用户接口，并且男女url不同，所以直接生成start_urls。
- 在parse()中使用xpath匹配用户url，发送请求。
- 在parse_item()使用xpath解析页面，获取用户图像url，返回item
- 网址：http://yuehui.163.com
- 网站用户分城市和男女，重新start_requests发送每个请求。
- 返回json数据，parse()解析之后获取每个用户的id，age，随后进入用户个人页面，获取图像url。
- 返回item，下载图像。