jd-comments

jd-comments copied to clipboard

京东评论数据筛选

抓取京东商城的评论信息与商品信息. 过滤无价值的评论,并展示.

Requirements:

Python, Node, Redis, Mongodb.

Python

• Python 3.4+, Anaconda is better.
• flask
• flask-cors
• simplejson
• requests
• BeautifulSoup
• PyMongo
• Redis

Node

Node 4.x, 5.x

Usage:

npm run server
npm start

爬虫部分

爬虫分为三个部分. 分别是 爬取商品ID列表、爬取商品信息、爬取商品评论.

Web部分

机器学习部分