WebMonitor
WebMonitor copied to clipboard
LogicJake
实时监控网页变化，并发送通知（Monitor web page changes in real time and send notifications）
Bumps [scrapy](https://github.com/scrapy/scrapy) from 1.6.0 to 2.6.2. Release notes Sourced from scrapy's releases. 2.6.2 Fixes a security issue around HTTP proxy usage, and addresses a few regressions introduced in Scrapy 2.6.0....
![dependabot[bot] avatar](https://avatars.githubusercontent.com/in/29110?v=4 "dependabot[bot] avatar"){kind=avatar}
**Describe the bug** 部分任务到时时未运行 **To Reproduce** Steps to reproduce the behavior: 1. 添加数十条网页任务，间隔10分钟 2. 等待运行 **Expected behavior** 到时时即运行 **Desktop (please complete the following information):** - OS: Ubuntu - Browser Chromium...
主要是由于浏览器本身自动为table新增了tbody标签内容，但是在xpath中是不需要的，需要在进行xpath查询之时移除掉。
出现一只提示有修改，但查看日志发现scheduler.py 143显示last_content为空，说明没有把上次检测到的更改记录到数据库
Bumps [twisted](https://github.com/twisted/twisted) from 19.7.0 to 22.4.0. Release notes Sourced from twisted's releases. Twisted 22.4.0 (2022-04-11) Features twisted.python.failure.Failure tracebacks now capture module information, improving compatibility with the Raven Sentry client. (#7796)...
目前的通知方式只适合发送比较少的监控， 由于使用的都是第三方的发送方式，邮箱，微信等这些都有所限制次数， 比如：要批量监控小说，电视剧，几百甚至几千数目，以上平台就限制不发了， 建议优化下日志，直接显示有哪些东西更新了， 或者添加本地通知，程序大部分建在服务器，可以输出本地html外网可以直接查看， 有自定义网址，用php接收数据，post可以正常接收，方程序里面接收不到数据， 需求：自定义网址post将通知输出到TXT或者html (勿喷，小白不懂代码，复制粘贴来的) ` ` 通知方式 `https://xxx.com/test.php{data={ "content":{content}, "header":{header} }}` 上面可能是错的，希望看到的大佬给出正确的完整代码，
### 目标网站地址 https://b2b.10086.cn/b2b/main/listVendorNotice.html?noticeType=2 ### css selector / xpath 内容 tittle{//*[@id="searchResult"]/table/tbody/tr/td[3]/a/text()} danwei{//*[@id="searchResult"]/table/tbody/tr/td[1]/text()} xuqiu{//*[@id="searchResult"]/table/tbody/tr/td[2]/text()} date{//*[@id="searchResult"]/table/tbody/tr/td[4]/text()} ### 实际发生了什么？ 运行时提示： SSLError(MaxRetryError('HTTPSConnectionPool(host=\'b2b.10086.cn\', port=443): Max retries exceeded ### 部署相关信息 docker | Env | Value | |...
