Kifu-for-JS icon indicating copy to clipboard operation
Kifu-for-JS copied to clipboard

Published 20 hours ago • verified publisher icon na2hiro

文字コード自動判別

Open na2hiro opened this issue 9 years ago • 3 comments

  • 現状ではKIF, KI2, CSAはShift-JIS，JKFはUTF-8として拡張子のみで判別．
    • 最近KIF等でもUTF-8で保存するようになってきているようであり，判別が必要．
  • 読み込み後に変換するには別のライブラリを読み込むことが必要になる模様．

na2hiro avatar Sep 29 '14 12:09 na2hiro

  • 各仕様について
    • kif, ki2のUnicode版の拡張子はそれぞれkifu, ki2uであることを確認．これらに関しては何も考えなくて良い．
    • csaはあらゆる文字コードである可能性があるため依然として自動判別の必要が有る．
  • JSでの自動判別について
    • Node.jsのライブラリくらいしか見つからない．
    • 変換ライブラリはある．

na2hiro avatar Oct 10 '14 03:10 na2hiro

主要な文字コードを列挙しておき，それらの文字コードにわたって何度もoverrideMimeTypeを変えながらXHRを呼べば，特定のブラウザはキャッシュを利用してくれて余分な通信を行わずに解釈しなおしてくれるようだ． Chromeでは２回め以降の通信でキャッシュを利用してくれる． http://81.la/tmp/autoencoding.html 他のブラウザでの対応を確認したい．

na2hiro avatar Aug 03 '15 07:08 na2hiro

TextDecoderとそのpolyfillを使えば #29 #23 も解決するが，サイズが大きくなりそう． https://github.com/inexorabletash/text-encoding

na2hiro avatar Apr 25 '18 13:04 na2hiro