PulsarRPAPro

PulsarRPAPro copied to clipboard

如何爬取动态内容加载的网站信息

1

PulsarRPAPro可以用来抓取具有动态加载的网站内容吗？比如ieee等检索论文的网站，输入标题后需要点击一些其他的按钮后才能显示更多（比如摘要字段的hsow more按钮），对于这一类不是静态网站的内容如何进行目标信息爬取？

Henderson11

maven源码构建报错

1

我是python选手，maven构建时报错WebDB 数据储存错误，请问这是依赖什么配置吗？如何修复这个bug？ [ERROR] Errors: [ERROR] ExoticExecutorTests.testScrapeOutPages:73 » WebDB Data storage failure | [get] [ERROR] ExoticExecutorTests.testScraping:58 » WebDB Data storage failure | [get]

Henderson11

demo报错 是否能升级到最新pulsar版本

1

mac 跑demo发现闪退，前面用 pulsar 1.13.2 跑可以，用 PulsarRPAPro跑报错，是否是PulsarRPAPro 使用pulsar老版本问题 2024-08-02 16:01:31.860 WARN [main] a.p.p.p.b.d.c.ChromeDevtoolsBrowser - ai.platon.pulsar.crawl.fetch.driver.WebDriverException: createDevTools at ai.platon.pulsar.protocol.browser.driver.cdt.ChromeDevtoolsBrowser.createDevTools(ChromeDevtoolsBrowser.kt:221) at ai.platon.pulsar.protocol.browser.driver.cdt.ChromeDevtoolsBrowser.newDriver(ChromeDevtoolsBrowser.kt:141) at ai.platon.pulsar.protocol.browser.driver.cdt.ChromeDevtoolsBrowser.newDriver(ChromeDevtoolsBrowser.kt:64) at ai.platon.pulsar.protocol.browser.driver.cdt.ChromeDevtoolsBrowser.newDriver(ChromeDevtoolsBrowser.kt:19) at ai.platon.pulsar.protocol.browser.driver.LoadingWebDriverPool.computeBrowserAndDriver0(LoadingWebDriverPool.kt:402) at ai.platon.pulsar.protocol.browser.driver.LoadingWebDriverPool.computeBrowserAndDriver(LoadingWebDriverPool.kt:356) at ai.platon.pulsar.protocol.browser.driver.LoadingWebDriverPool.resourceSafeCreateDriverIfNecessary(LoadingWebDriverPool.kt:346) at...

sharfy

When run .\harvest.ps1, the program tries to connect to mongodb at port 27017. We expect it raise a embed MongoDB. 10:35:21.347 [main] INFO org.shaded.mongodb.driver.cluster - Adding discovered server 127.0.0.1:27017 to...

platonai