2chAPIProxy icon indicating copy to clipboard operation
2chAPIProxy copied to clipboard

dat直アクセスへの対応

Open onihusube opened this issue 2 years ago • 8 comments

  • [x] dat落ち時過去ログ変換
  • [x] dat取得時リンク置換
  • [x] dat取得時©マークの置換
    • ~~これって現存してる?~~ -> してた

onihusube avatar Jul 11 '23 13:07 onihusube

dat落ちしてるときの応答が404になってるので、302に変更して応答するようにしておいた

onihusube avatar Jul 11 '23 17:07 onihusube

APIスルー版、dat直アクセス時にも少し介入して、https/5chリンク置換や過去ログ変換を行うようにしたもの

2chAPIProxy.zip

onihusube avatar Jul 11 '23 17:07 onihusube

  • https://egg.5ch.net/test/read.cgi/software/1689054614/114-

過去ログが取れないのは過去ログ倉庫のURLが変わったん?

昔 http://egg.2ch.net/software/kako/1689/16890/1689054614.dat.gz ↓ http://egg.2ch.net/software/kako/1689/16890/1689054614.dat

今 http://egg.5ch.net/software/oyster/1689/1689054614.dat

onihusube avatar Jul 11 '23 17:07 onihusube

  • https://agree.5ch.net/test/read.cgi/operate/9240230711/3

DATファイルへのアクセスが再び解放されました。

DATファイルへのアクセス方法は以下の通りです。 ・稼働中のスレッド /板名/dat/スレッドキー.dat 例: https://agree.5ch.net/operate/dat/1608930977.dat

・DAT落ちした現役サーバに収容されているスレッド /板名/oyster/スレッドキー上位4桁の数字/スレッドキー.dat 例: https://agree.5ch.net/operate/oyster/1684/1684064837.dat

・過去ログサーバに収容されているスレッド /板名/oyster/スレッドキー上位4桁の数字/スレッドキー.dat 例: https://natto.5ch.net/food/oyster/1021/1021787092.dat 例: https://mamono.5ch.net/newsplus/oyster/1237/1237017133.dat

※ 過去ログサーバについては上述URLでは読めないスレッドが一部にあります。 現在、新しい過去ログサーバを構築しておりますので稼働しだいすべての過去ログが閲覧できるようになります。

onihusube avatar Jul 11 '23 17:07 onihusube

  • https://egg.5ch.net/test/read.cgi/software/1659679480/869

>>843 >>844 情報ありがとうございます ほぼ完ぺきに近いとは思うんだけどバク発見

「©→©」変換にチェック入っていると 該当文字(@)が入っているタイトルのスレをダウンロードすると 該当文字が名前になった1しか読み込まれない(本文も空白で2以降もなし) まあチェック外しておけば普通にスレ読み込むし、支障はないんだけども

例えば http://egg.5ch.net/test/read.cgi/software/1482746509/l50 http://egg.5ch.net/test/read.cgi/software/1466632061/l50

onihusube avatar Jul 12 '23 10:07 onihusube

過去ログ倉庫へのアクセス振り替え時

  • HTML変換はtrue
  • 過去ログ倉庫へのアクセス置換はfalse
  • 404(ないし302)が帰ってきている

場合にレスポンスへの介入(intervene_in_dat_response())でHTML変換を行おうとするが、URLからスレッドURLが構成できなくて死ぬと思われる

onihusube avatar Jul 13 '23 01:07 onihusube

  • https://egg.5ch.net/test/read.cgi/software/1689054614/316

5ch->2ch置換有効にすると http://o.5ch.net/ まで http://o.2ch.net/ に直してしまってアクセス先が見つからなくなるのは変わってないな

onihusube avatar Jul 13 '23 10:07 onihusube

  • https://egg.5ch.net/test/read.cgi/software/1689155355/577-

突然「ERROR: 送信された内容が破損しています。」が出て書き込めなくなりました。 昨日までは何事もなく読み書き共に順調にできていて、今日になって突然書き込み時に 出るようになりました。読み込みはできています。お心当たりの方や同じ症状が出ている方 いらっしゃいますか?

ギコナビはバタ72(1.72.0.862)、串は20230713 nonAPI testを使っています。 >>577

content-lengthの算出方法が5chの要求にあわなくなった まだUA変えるだけでAPIなしで書けてた末期に確認されてる

Detour串のサイトに原因が説明されていたけど、8月以降つながらなくなってる

onihusube avatar Aug 03 '23 15:08 onihusube