Daya Guo comments

Results 76 comments of


                                            Daya Guo

我看模型支持了amis，请问下amis的训练数据应该如何构造？

我们并没有专门构建amis的训练数据，有可能amis相关的代码和教程出现在了github中，所以被模型学习到了

能否集成到vscode的插件里

目前正在集成中，但是可以使用开源的插件如refact，替换成我们的模型即可

建议提供全中文的注释和使用手册：）

非常你的建议，之后会考虑将中文的 readme.md和使用手册加上

模型推理完成后怎么一直占用显存呢？

这个跟模型无关，主要还是代码问题。不太确定你用的是什么代码

markdown格式的数据预训练

没有做任何mask

markdown格式的数据预训练

学习这部分内容可能没有任何意义。但过拟合倒不至于，毕竟整个markdown有将近200B的数据量，而且只过1个epoch，要能记住，估计得千亿的模型才行

Does DeepSeek-Coder have wasm related knowledge?

WebAssembly data isn't included in the pre-training data and I'm not sure whether DeepSeek-Coder can learn WebAssembly text from Markdown.

tokenizer.json issue creating gguf files

you can refer to https://github.com/deepseek-ai/DeepSeek-Coder#7-qa

Catastrophic forgetting problem

If you fine-tune on the Instruct model, I think such a phenomenon is normal. There are two reasons for this: one is that your data is inferior compared to the...

deepseek-coder-7b-base-v1.5 tokenizer=LlamaTokenizerFast 为什么分词会有很多乱码字符呢?

deepseek-coder-7b-base-v1.5 不支持FIM，所以这些特殊符号不在词表里