geek_crawler

geek_crawler copied to clipboard

在原来的代码基础上简单的修改了一下，实现下载指定的课程 修改点1.使用原来的exclude变量，存储想要下载的课程，大概在539行左右 ``` # 将exclude设置为指定要爬取的文章 exclude = ['快速上手C++数据结构与算法'] ``` 修改点2.将297行左右的 ``` if product.get('title', '') in self.exclude: 修改为 if product.get('title', '') not in self.exclude: ```

yunCrush

图片我看是超链接，会一直有效吗

1

L-Block-C

非法图形验证码

1


Brannua

抓取报错

1

大神来看下呀： /Users/bo/PycharmProjects/pythonProject/main.py[line:550] - ERROR: 请求过程中出错了，出错信息为：Traceback (most recent call last): File "/Users/bo/PycharmProjects/pythonProject/main.py", line 547, in run(cellphone, pwd, exclude=exclude, get_comments=get_comments) File "/Users/bo/PycharmProjects/pythonProject/main.py", line 513, in run geek._article(aid, pro, file_type=file_type, get_comments=get_comments) # 获取单个文章的信息...

noood

返回的文章列表不能大于100

2

在一个专栏里有大于100个的文章时，该脚本最大只能保存100个文章。 查看代码后发现 _articles 方法中的 'data = res.json().get('data', {})' 返回值中的list最大只有100。如图： 

sunset-x

magicLaLa

不能下载部分课程

1

我有50多门课（仅3个是视频课，其他都是文字版），只有20多门课能下载。请问是什么原因导致不能下载所有课程

zzg22936

I found a bug. If file_type is `.html`, the file suffix in the download directory is `.md`.

dbkernel

1. 添加指定课程id 2. 添加重试功能 3. 添加实时写入已经下载的文章id到历史文件中（因为主动关闭程序的时候，貌似没来得及写入到历史文件） 4. 密码写死功能校验 5. 优化部分代码

aohanhongzhi


aohanhongzhi