MediaCrawler

MediaCrawler copied to clipboard

能不能来个详细的配置教程啊，小白表示很难入手

5

Liyff

小红书评论如何能获取到评论的图片呀？

3

小红书评论如何能获取到评论的图片呀？

semsevens

运行为什么没有反应呢

5

在安装完库和playwright后，在conda 使用python3 main.py --platform xhs --lt qrcode --type search他没报错也没有弹出其他窗口或者显示运行进度，这是为什么呢。。

haorongchen1015

抖音评论

4

对于某个视频的评论，可以抓取对于这个评论的回复评论吗？

dfinity-web3

麻烦坐着看看，这个算法是不是有问题，对照了很多次，过不去

guijialei-web

在没有界面的linux里面是否没有办法使用小红书登陆，因为无法出现登陆界面。。。

1

例如使用了ubuntu的服务器版本？ 谢谢大神

oscgking

发送请求 /comment/sub/page， 获取子评论时，返回为空。请帮忙看下原因。

1

string uri = "/api/sns/web/v2/comment/sub/page"; Dictionary parameters = new Dictionary { { "note_id", noteId }, { "root_comment_id", rootCommentId }, { "num", num.ToString() }, { "cursor", cursor } }; 请求时sub/page，获取到没有报错，但是没有数据，不清楚是什么原因。 Responser Body:{"code":0,"success":true,"msg":"成功","data":{"user_id":"65beddf30000000016003613","comments":[],"has_more":false,"time":1707300933533}}

xiaoqdu

httpx.InvalidURL: Invalid port

1

报错日志：(myvenv) D:\dev\project\graduationProject\craw\new\MediaCrawler>python main.py --platform dy --lt qrcode --type search 2024-02-08 17:29:50 MediaCrawler INFO [DouYinCrawler.search] Begin search douyin keywords 2024-02-08 17:29:50 MediaCrawler INFO [DouYinCrawler.search] Current keyword: python Traceback (most recent call...

kevinWangSheng

小红书网页版还是加上了验证码请问有支持计划吗

2

renwenxu

我希望只在登录时使用playwright，爬取时可以关闭playwright的窗口，可以从哪里入手呢，能不能提供一些思路。

5

当前程序，当登录成功后，playwright启动的窗口不能关闭掉，因为post和get时需要header，而header需要从playwright获取。 playwright启动的窗口占用很大内存，哪怕是headless模式， **我希望只在登录时使用playwright，爬取时可以关闭playwright的窗口，可以从哪里入手呢，能不能提供一些思路。** 且playwright在登录和爬取中解耦后，爬取的程序就可以跑在非Ubuntu上了

yaohongfenglove