清歌

Results 21 comments of 清歌

`git submodule update` not work for me. `git submodule update --init --recursive` work instead.

添加词库后,对已存在的条目需要重建索引。你可以试一试,新插一条带有茶Π的句子,看分词是否生效

@yylzcom 今晚我这边qqbot又可以正常使用了,看来之前可能是SmartQQ一时大姨妈。

@yylzcom 现在的官方web界面应该是http://web2.qq.com吧。 关于headless,比如我用的是firefox,首先保证selenium和firefox的版本都支持headless模式,然后在passwordlogin.py增加如下几行代码。 ``` #from selenium.webdriver.chrome.options import Options from selenium.webdriver.firefox.options import Options ... def newLogin(self, conf): options = Options() options.add_argument("--headless") driver = getattr(webdriver, driverType)(firefox_options=options) #driver = getattr(webdriver, driverType)(chrome_options=options) ``` 然后就可以使用headless模式了。...

真是巧,立刻就看到一个类似的新issue。https://github.com/DormyMo/SpiderKeeper/issues/84#issue-369012488

发起了一个PR,不知道是否能合并到这个分支?https://github.com/DormyMo/SpiderKeeper/pull/85

> > 发起了一个PR,不知道是否能合并到这个分支?#85 > > > 前一阵子发现定时任务有时候没有按计划来执行,仔细检查程序输出日志,发现报错如下: > > ``` > > 2018-10-11 16:18:50,165 - SpiderKeeper.app - DEBUG - [sync_job_execution_status] > > Job "sync_job_execution_status_job (trigger: interval[0:00:05], next run at: 2018-10-11...

另外暴力删除掉SpiderKeeper.db以后,发现SpiderKeeper好像不能自动同步Scrapyd上已有的项目信息。

> 我也遇到同样的问题,请问如何解决 最终我还是没解决这个问题,所以放弃spiderkeep改用celery-beat来管理定时任务了

SpiderKeeper调用Scrapyd的任何一个API都有可能会各种原因失败(比如网络异常,或者scrapyd本身被请求得太频繁导致堵塞),从而造成两者状态不同步,我觉得对于错误应该要加上相应的处理机制,比如在界面提示你操作失败,或者自动重试