[Week29] Max

[hsuanchi]

今天討論了什麼？結論是什麼？

目前主線任務電商網站暫緩，等待朋友匯整產品資料後，會繼續開工 暫時先幫老姐寫蝦皮賣家競品分析

上週 week 29 完成進度：

• [x] 多執行緒（Multi-thread）
• [x] 多程序（Multi-processing）

【Python教學】淺談 GIL & Thread-safe & Atomic operation 【Python教學】淺談 Multi-processing & Multi-threading 另外最近 GCP 主機越開越多，所以研究了一下 SSH 遠端連線，和管理多台遠端連線工具 Termius： 如何使用 SSH 遠端連線？

下週 week 30 完成進度：

繼續整理爬蟲的文章

• [ ] 異步（Asynchronous）
• [ ] 生產者和消費者列隊 (異步 + queue)

Check list：

測試爬蟲差異，整理成文章:

• [x] 多執行緒（Multi-thread）
• [x] 多程序（Multi-processing）
• [ ] 異步（Asynchronous）

蝦皮爬蟲主程式：

• [x] 單線異步爬取 shop_detail 資訊
• [x] 單線異步爬取 shop_product_url 資訊
• [x] 單線異步爬取 product_detail 資訊
• [ ] Bigquery 存爬取資料
• [ ] Mysql 存計算後的每日營業額 & 每日產品銷售
• [ ] IP 檢測列隊(使用生產者和消費者列隊去改)
• [ ] 外層用 Multi-processing 打包

競品分析的部分:

• [ ] 競品年銷售額
• [ ] 競品日銷售額
• [ ] 商品相關銷售
• [ ] 波士頓矩陣分類銷售產品
• [ ] 競品使用 Hash Tag 標籤
• [ ] 競品免運或優惠活動