Arleigh Chang
Arleigh Chang
能幫助到您就好,有問題歡迎隨時討論~
Hi, Thanks for your question. please check part3.5 (page 3-79), not install Crypto package.
Hi 您好,很高興您提出問題。 如同我在首頁的說明,我認為這是滾動式的網頁,算是蠻主流的方式,也算是防爬蟲的一種技術,雖非完全無法解,但可能無法讓爬蟲者過得太舒適。 何謂滾動式網頁? 可以把他理解成當你的瀏覽器提出請求時,他預設給你N篇新聞,剩下的新聞他會靠捕捉你的瀏覽器行為來給你額外的新聞。瀏覽器行為在我們的例子中就是滾動網頁。 您可以仔細的觀察,當您將滑鼠滾輪慢慢地往下滾,是不是有感覺到網頁卡了一下,他好像在load什麼內容? 這就是他捕捉你的操作行為,可能是滾到最後一篇新聞了,再額外給你另外N篇,當你再次滾玩,再給你N篇,直到他設置的上限,我記得上限是一個月的新聞。 不知道這樣您是否能夠理解,我們單純requests為什麼只有20篇,因為requests只是請求,不包含滑鼠滾動這個動作,自然不會觸發對方的系統給你多一點新聞。 或許還有其他解,但比較直接的解就是Selenium(類似用程式操作瀏覽器,模仿人的行為),模擬滾動到底的動作,再做requests解析,但如同首頁所述,這是比較進階的技術了,而且在爬蟲領域中,應該是真的無可解,萬不得以才會使用Selenium,因為他的速度及耗費的資源都比單純的requests差非常多。 Selenium技術您可以了解一下,若是有興趣鑽研爬蟲,這也算是必備的技術之一了。
hi 您好, 針對第一個問題, 我可能六日有時間再去看一,不過書中的程式的確有可能跟github上面不同, 因為書上的是過程, 這裡放的是最終的版本~不過或許您說的不同是對的,我還要再去看一下,感謝提出. 第二點的話,我想應該是您的程式位置在c/user裡面的深處吧,通常是建議程式碼不要放得那麼深, 一來不好控管, 二來是容易有權限問,尤其是擺在使用者裡面. 像我個人在開發基本上都是放D:/ or C:/這一類單純的位址進行開發.要執行user裡面的東西,基本上應該是要admin沒錯.
Hi 您好, 在排程那張圖,程式與指令碼中,放的應不是spyder.exe,應是虛擬環境中的python.exe.
為追蹤問題,我建議進行以下測試: 1. 確保排程有勾起以最高權限執行 2. 使用cmd執行這一只程式看看是不是work,如果不work,問題就不再排程器身上. 3. 如果cmd執行python work的話,嘗試使用您路徑的python執行看看該檔案。 作法: 以您的例子,打開cmd並將路徑指向D:\trade1, 然後下語法:c:\Users\xxx(您的user名稱)\acona\envs\MABMPY38\python.exe 1_buy_follow_corp.py,觀察看看什麼反應
嘗試在別的地方建置虛擬環境試試看,例如在D:/TEST裡面建置虛擬環境,並用D:/TEST裡面的虛擬環境去執行,如果可以過,那應就是你的系統角色沒有深入c:/users的權限,c:/users其實是一個需要高權限的地方,並不是很建議把程式放在那哩,除非您的電腦乾乾淨淨只有一個最高權限使用者。
hi您好,應是yfinance沒有台積電知該資料吧.您可以測試看看蘋果AAPL,就會有資料,因此應是套件對於台灣股市的資料比較缺乏. 其實這是可預期的情況,yfinance對於美股研究應算是相當健全的,但對於台灣市場的資料,有時就會東缺西缺.
yfinance其實不是官方的套件我記得,是某位厲害的人自己開發的一個完善的爬蟲. 就我這幾年使用它的經驗,在台股的資料上真的是容易缺東缺西, 主要真的是美股的穩定得多. 倒也並不是他不再支援了,就我所知他還會去做維護,不過我在猜美股的部分如果沒出錯,他應該是不會特地去維護的. 如果您有需求是要每天穩定的獲取某一項資料例如主要持有者,我會建議直接去他的頁面上自己寫爬蟲去抓, 甚至是其他來源.
您好,很高興您提問~ authentication failed基本就是帳戶的議題,與程式較無關係,請再次確保: 1. 帳密確實沒有輸錯,您可以將account跟password print出來仔細確認,是否有錯誤的字符、空白及不正確的帳密 2. 確保程式正確,並且有starttls()。 `server = smtplib.SMTP('smtp.gmail.com', 587)` `server.starttls()` `server.login(user_id, password)` 3. Port基本以587為主,但您可以嘗試換成25看能否解決。 上述如果都確認過了,尚無法解決問題,或許您可以貼程式碼上來(請去除自己的帳密資訊),我們再來看看。