基于python的分布式爬虫
DEMO: https://fetch.flysay.com
https://www.mongodb.org/downloads 默认端口运行mongoDB
linux 安装
#ubuntu apt-get install build-essential apt-get install python-dev #centos yum groupinstall "Development Tools" yum install python-devel windows 下的 gevent 可能需要安装 Microsoft Visual C++ Compiler for Python 2.7 http://www.microsoft.com/en-us/download/confirmation.aspx?id=44266
pip install requests pip install pymongo pip install flask pip install flask-compress pip install gevent pip install tld pip install click pip install pybloomfiltermmap 服务器
python service.py 客服端
python client.py http://127.0.0.1 - 参数可配置化, 还有mongo的连接配置
- slave 执行环境安全
- setup.py
- 列表的时间排序有问题
- 每个项目都可以添加多个url抓取入口
- 项目与爬虫的抓取频率显示
- 结果页面图片浏览模式
- 新建项目且修改代码时，会有缓存且爬虫会使用旧代码进行抓取
- 当有域名403时, mongod CPU占用较高