Buseong Kim

저도 마찬가지로 국가제한걸리네요 ㅠㅠ

@TobyRoseman All of code is required to run stateful model based on GPT-2. Sorry 😢

@lithium0003 It's not working....

@lithium0003 It works after adding `attention_mask = None` before `attn_output, attn_weights = self._attn(query, key, value, attention_mask, head_mask)` But, It produce another error ``` loc("/Users/kimbuseong/Library/Caches/org.python.python/com.apple.e5rt.e5bundlecache/24C5089c/482419A8FF15595378FF575F9BDC33548B8A4933527ED3D8F1364CA6FEF48A51/70D546C0C146A466AD586A6DE692334F73CB4C7D816C6FA63C4AF624CBCB818D.bundle/H13S.bundle/main/main_mps_graph/main_mps_graph.mpsgraphpackage/model_0.mpsgraph":0:0): error: attempting to parse a byte...

https://github.com/huggingface/swift-chat/issues/24 I found similar error in swift chat

Any updates? coremltools 8.3 released but nothing fixed....

``` [Error] ReferenceError: Can't find variable: exports (anonymous function) (index.js:1:736) (anonymous function) (index.js:1:2955) (anonymous function) (index.js:1:199) Global Code (index.js:1:202) ``` Also on my safari extension... https://github.com/ffmpegwasm/ffmpeg.wasm/issues/854 I think it's related...

現状の進捗について共有します。 当初の目標としていた「CoreMLによるZenzaiの高速化」に関して、以下の最適化が完了し、一定の成果が得られました。 --- ## ✅ 達成したこと ### ● 一般モデルがNPU（Apple Neural Engine）を利用できるよう最適化・再設計 CoreMLグラフを再構築し、ANEが実行可能な演算に限定する形でモデルを調整しました。 ### ● 8bit Palletizationモデルの設計完了 - 既存モデル容量：182MB - 8bitモデル容量：92MB モデルサイズを約50%削減し、メモリ帯域の効率改善が期待できます。 ### ● 6bitバージョンへの変換も難しくないと考えています 既存モデルを6bitに量子化することも可能で、さらなる容量削減が期待できます。 ### ● KVキャッシュを利用した Apple の...