auto-novel icon indicating copy to clipboard operation
auto-novel copied to clipboard

poc(misc): server & client side crawler

Open kurikomoe opened this issue 1 month ago • 0 comments

你知道的,Fishhawk 并没有那么脆弱。(指审一坨 pr)

目前的设计是:

  • libcrawler 提供 getChapter, getMetadata, getRank 等接口。需要由库调用方提供一个 fetch 函数(考虑以后可能会需要 tabFetch spoofFetch 之类的,似乎应该提供 addon interface 会好一点)
  • server-side crawler 通过 expressjs 原生暴露出以上接口,供 kotlin server 调用
    • server-side crawler 内部实现 proxy pool,user-agent 伪装和 cookies 添加之类的功能。
  • client-side 直接使用 libcrawler 的接口即可。

kurikomoe avatar Nov 07 '25 13:11 kurikomoe