AceCHQ

您好呀，从抖音关注过来的，但是没找到虚拟人项目的源码，可以分享下嘛？谢谢~

How to train 20k Chinese Tokenizer by myself?

2

Thank you for using the Issue submission template. Please follow the steps below to provide relevant information. We will prioritize issues with relatively complete information. Your cooperation is appreciated. *Hint:...

请问如果不使用Lora，直接微调，由于扩充词表，lm_head的size不一致，应该如何解决？

3

如果不使用Lora，直接微调，由于扩充词表，lm_head的size不一致，应该如何解决？报错如下： size mismatch for lm_head.weight: copying a param with shape torch.Size([250680, 4096]) from checkpoint, the shape in current model is torch .Size([0, 4096]). 谢谢～

您好，请问预训练输入的文本是否必须为： 或者还有其他注意事项吗，比如去重，过滤等。

感谢您使用Issue提问模板，请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue，感谢您的配合。 *提示：将[ ]中填入x，表示打对钩。提问时删除上面这两行。请只保留符合的选项，删掉其他。* ### 详细描述问题 使用huggingface的run_clm.py中的Trainer api，如果扩充词表，size会发生变化，怎么最大程度利用原始的预训练模型？如何正确加载 ？ 谢谢 ### 运行截图或log Error: size mismatch for transformer.word_embeddings.weight KeyError: 'model.layers.1.input_layernorm.weight' ### 必查项目 - [ ] 哪个模型的问题：LLaMA **

### 详细描述问题 请教一下第一阶段仅训练embedding层，是不是训练输入的embedding层和输出的head层，其他层冻结？谢谢。

关于训练用的数据类型bf16和float16

1

### 详细描述问题 1、请问原始的LLaMA在训练时是否有指定哪个数据类型，使用float16会不会与原文无法对应，有溢出的风险。 2、看到block_size设置为512，请问是否过短，有尝试过1024的效果吗 谢谢。

通过SentencePiece训练的tokenizer，合并没有问题，但是run_clm加载出错。

1

### 详细描述问题 通过SentencePiece训练的tokenizer，合并没有问题，但是run_clm加载出错，Error如下，请问可以如何解决，感谢！！ RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect....

请问词表合并后的两个文件夹sp和hf有什么区别？

1

请问词表合并后的两个文件夹sp和hf有什么区别？是保存方式的不同吗？

Something wrong with Exported FBX in UE

2

Hello, thank you for your excellent job. I find that the animation sequence imported into UE is lying down, which has 90 degrees from the correct result. How can I...