llm-compressive

llm-compressive copied to clipboard

Please check https://github.com/Jellyfish042/uncheatable_eval and let's see whether it's good in your test :) HF Model: https://huggingface.co/RWKV/v5-Eagle-7B-HF

BlinkDL

一点小问题

3

从知乎看了这个工作感觉很有趣，想看下代码实现，碰到了些问题： [这里](https://github.com/liyucheng09/llm-compressive/blob/8b9b5b8aa8462f3756ac3239b8f7f16d32cf3531/compressor.py#L14) 的 `logits` 我理解应该是 `[batch, seq_length, vocab_size]`， 不太理解为什么在 `vocab_size`维度做 `cumsum`, 是为了后面计算 `P(X)` 吗? 因为看不懂 C 的代码，只能理解到[这里](https://github.com/liyucheng09/llm-compressive/blob/8b9b5b8aa8462f3756ac3239b8f7f16d32cf3531/arithmetic.py#L85) 是在做论文中的 **Algorithm 1 Arithmetic Coding**

wlhgtc