ptt-web-crawler icon indicating copy to clipboard operation
ptt-web-crawler copied to clipboard

PTT 網路版爬蟲

Results 8 ptt-web-crawler issues
Sort by recently updated
recently updated
newest added

**Bug:** If crawl [https://www.ptt.cc/bbs/Gossiping/M.1597453894.A.61C.html](), title is null **Reason:** Cloudflare will encrypt email-like text **Solution:** Do decrypt if title or author is null, reference: https://stackoverflow.com/a/58111681 Because `.string` returns object so it...

PttWebCrawler/crawler.py line 33 `Input: board name and page indices (or articla ID)` I think "articla" should be "article".

Add optional parameter "-s" for searching articles by titles

你好,關於結束頁可以設定負數的參數, 但我實際執行只有 -1 是有效的參數, 看程式碼也是只有判定 -1 , 如果是這樣的話,應該就不是  (設為負數則以倒數第幾頁計算) 再麻煩解答一下,感謝

加入關鍵字搜尋後再抓取文章的功能 usage revised in README.md

Pushes should be after '※ 文章網址' , those before this span might be the signature of article author. e.g. https://www.ptt.cc/bbs/Gossiping/M.1546397574.A.35D.html

你好我想請問 我在執行時有發生 Read timed out 的問題

謝謝大大分享這個工具! PCMan 裡面有個實用的功能,能以`/`搜尋標題,或以`a`搜尋作者, 不知道您有沒有打算讓這個工具支援這兩個功能呢? 有時候只是想要收藏特定作者的文章。 如果您有意願但無瑕實作的話,我也可以嘗試丟個PR來處理,謝謝。