一叶飘零

这一步的意义是什么，为什么这样计算

5

==>result[key] = (values[0] + min(left[d], right[d])) * values[1] 这一步理解不了是在干什么，我的理解是只要取 左右熵中的最小值作为 这一步需要赋值的值就可以了 def find_word(self, N): # 通过搜索得到互信息 # 例如: dict{ "a_b": (PMI, 出现概率), .. } bi = self.search_bi() # 通过搜索得到左右熵 left...

java api

1

when to support JAVA api

能否提供预训练脚本

1

基于公司数据做持续预训练, 可否提供预训练脚本,包括 lr，max_seq_len, 及其他需要注意的细节等

有个分布式的问题: 这套分布式code 单机多卡执行没有问题，但是 多机多卡 在 保存checkpoint时候老是报错，一直定位不了问题， 这个你们有经验么，问题出在哪 2024-04-15 09:40 File "/opt/conda/lib/python3.10/shutil.py", line 679, in _rmtree_safe_fd 2024-04-15 09:40 os.unlink(entry.name, dir_fd=topfd) 2024-04-15 09:40 FileNotFoundError: [Errno 2] No such file or directory: 'rng_state_28.pth'...

是否考虑引入 flash attention transformer

3

### Is your feature request related to a problem? Please describe. https://zhuanlan.zhihu.com/p/639362627 ### Solutions 引入 flash attention transformer 进行加速 ### Additional context _No response_

Required library version not found: libbitsandbytes_cuda100_nocublaslt.so.

1

这个问题怎么解决， cuda版本的问题? ****************************************************************************************************************************** CUDA_SETUP: WARNING! libcudart.so not found in any environmental path. Searching /usr/local/cuda/lib64... CUDA SETUP: CUDA version lower than 11 are currently not supported for LLM.int8(). You will be...

WizardCoder-Python-34B-V1.0 only support for python?

2

as the title, wheter other language as Java could use the base llm?

deepseek-coder-7b-base-v1.5 tokenizer=LlamaTokenizerFast 为什么 分词会有很多乱码字符呢?

1

 

save_pretrained has unuseful mode.safetensors, lead to load error

9

### System Info ```Shell - `Accelerate` version: 0.29.3 - Platform: Linux-3.10.0-1160.el7.x86_64-x86_64-with-glibc2.35 - `accelerate` bash location: /opt/conda/bin/accelerate - Python version: 3.10.13 - Numpy version: 1.26.4 - PyTorch version (GPU?): 2.1.2+cu121 (True)...

error: fp8e4nv data type is not supported on CUDA arch < 89

2

https://github.com/triton-lang/triton/blob/95623038c75463286aa5d4a44782ba7492cc1afa/python/triton/language/semantic.py#L761C1-L763C1 how to resolve this