bike-crawler
bike-crawler copied to clipboard
共享单车地图爬虫
共享单车地图爬虫
感谢您的支持
此处的python代码可以用于学习用途,但已经无法使用
别再问我什么token了,已经无法使用!已经无法使用!已经无法使用!已经无法使用!
请不要重复问这些问题,已经无法使用!已经无法使用!已经无法使用!已经无法使用!
对于研究用途需要数据的,可以加微信bcdata了解
该爬虫为单车地图的Python演示代码,具备以下功能:
- 支持ofo和摩拜
- 多线程爬取
- 自动去重
- 坐标系转换
- 按照ofo和摩拜输出对应的csv文件,存放在db/【日期】/【日期】-【时间】-【品牌】.csv文件内
- gzip压缩存储
运行环境
- Python3
- Linux/Mac/Windows
运行前请联系微信bcdata获取token,内置的token为演示用,单车位置是真实的,ID是随机的。
请根据你的需要修改配置文件config.ini,请查看内置说明。
Linux/Mac
- 下载最新代码并解压
- 修改config.ini确保坐标和区域等参数正确
- 运行:
pip3 install -r requirements.txt
python3 crawler.py
Windows
- 下载最新代码并解压
- 修改config.ini确保坐标和区域等参数正确
- 运行run.bat
输出格式
输出格式:CSV
每行格式:时间戳,单车编号,经度,纬度
常见问题,请见单车地图