程序员阿江-Relakkes
程序员阿江-Relakkes
小红书的二级评论之前实现过,是直接放到`get_note_all_comments`函数中的,做一个参数配置`fetch_all_comment` 我觉得要实现的话,就在原来的get_note_all_comments是加一个参数就好了,然后数据库也用同一张表,加一个parent_commnet_id就可以了,我印象中,子评论的信息中应该有个标识它属于那个comment_id,你觉得呢?
如果小红书的要实现的话,也要考虑其他平台的二级评论,不能光做一个,不然显得尴尬,比如这个用户主页视频采集,本来我是不想merge到主干的,保持MediaCrawler的精简,反正架子都有了,后面太多人问了,就mergen进去了,但是mergeg之后发现没有太多的时间去维护其他平台的主页视频开发
> > 小红书的二级评论之前实现过,是直接放到`get_note_all_comments`函数中的,做一个参数配置`fetch_all_comment` 我觉得要实现的话,就在原来的get_note_all_comments是加一个参数就好了,然后数据库也用同一张表,加一个parent_commnet_id就可以了,我印象中,子评论的信息中应该有个标识它属于那个comment_id,你觉得呢? > > 可以的,这样实现方便很多,不过当时的疑虑就是有人已经在用 db, 此时更新版本的话,就得通知下更新版本的人要启用爬二级评论时更新 db 字段 在db schema 中把添加字段的ddl语句放到git中去管理,然后在开启子评论的选项上加一定说明就行了,保持schema的最新版本。
thanks
weibo的已失效,待修复
这一块不打算实现
啊?
可能有滑块验证码,需要手动过一样 penney ***@***.***>于2024年4月2日 周二20:50写道: > 最后怎么解决呢? > > — > Reply to this email directly, view it on GitHub > , > or unsubscribe > > . > You are...
可以看下视频教程 Huboooo ***@***.***>于2024年4月2日 周二00:53写道: > 确认登录后一直提示手动验证 > (venv) PS D:\dev\projects\PycharmProjects\MediaCrawler> python main.py > --platform xhs --lt qrcode 2024-04-02 00:50:24 MediaCrawler INFO > [XiaoHongShuCrawler.launch_browser] Begin create browser context ... > 2024-04-02...
请查看常见问题,安装指定版本的nodejs