company-crawler

company-crawler copied to clipboard

天眼查、企查查

公司信息爬虫

使用说明

1. 设置用户状态

   抓包工具抓包天眼查、企查查小程序，设置请求头用户鉴权信息，在各自目录的init.py文件中

2. 设置数据源

   MysqlConfig = {
       'develop': {
           'host': '192.168.1.103',
           'port': 3306,
           'db': 'enterprise',
           'username': 'root',
           'password': 'root@123'
       }
   }
   

3. 执行db/data.sql生成数据结构

4. 配置IP代理config/settings

   # 全局代理控制
   GLOBAL_PROXY = True
   PROXY_POOL_URL = "http://localhost:5010"
   

5. 设置爬取关键字qichacha&tianyancha

   keys = ['Google'] # 设置爬取列表
   crawler.load_keys(keys)
   crawler.start()
   

###推荐使用IP代理 + 随机UA

1. 随机UAfake_useragent
2. 代理池proxy_pool