MediaCrawler

MediaCrawler copied to clipboard

请问，在哪里配置抖音的搜索关键词

1

不知道在哪配置关键词 运行出错  

wuxiaol1981

xhs的评论和帖子是不是没有标识符对应?

1

如题,评论里面是不是没有字段指明对应的是哪个帖子,有没有办法解决呢?

jzzzf

整数智能《高级爬虫工程师》招聘

16

【你需要参与】 ● 负责设计和开发网络爬虫系统，进行多平台的信息抓取和分析 ● 根据网页特性设计独特的爬虫策略和防屏蔽规则，不断优化提升数据抓取的效率和质量 ● 完成并管理数据的清洗、结构化、入库、统计分析等全流程 ● 能够独当一面的完成数据聚合项目解决方案的制定，并完成方案的沉淀，以便后续复用 ● 具有分布式爬取和运维经验，能够保证项目的正常运行，实时解决出现的问题，确保项目的平稳、高质量运行 【我们对你的要求】 ● 责任心较强，做事细致耐心（此项有一票否决权） ● 良好的沟通能力和团队领导力，能有效组织和引导团队完成任务 ● 根据需求制定爬取方案并执行，并有良好的代码习惯及汇报习惯，抽象能力强 ● 精通至少一个爬虫框架（如Scrapy）或有相关实现，熟悉多线程，分布式爬虫的设计和实现，能处理大规模数据获取和处理的技术挑战 ● 熟练掌握基于正则表达式、XPath、CSS等网页信息抽取技术 ● 熟悉了解HTML、CSS、JavaScript，熟练掌握JS逆向、断点调试、HOOK等技能 ● 熟悉常见的反爬机制，验证码识别 ● 掌握熟练至少一种SQL语言，了解数据库优化策略，设计过千万级的表结构为加分项 ● 熟悉Linux及Docker、K8S，有K8S集群使用经验为加分项...

ABAKA-AI

如果有这个功能。我该如何配置？

DongGuHua

账号没有访问权限，如何解决？新建虚拟环境也不行

1

IchvanHuang

有没有国外站点使用的爬虫策略，如facebook等国外知名的社交软件。

1

如题目所示，请假一下？

204winnersong

zdj97

希望添加docker部署支持

zsf513

生成csv或者json文件

leochen12-rgb

有的人，操作真的太6了，大家注意甄别，请勿上当受骗。

14

NanmiCoder