AceCHQ
AceCHQ
您好呀,从抖音关注过来的,但是没找到虚拟人项目的源码,可以分享下嘛?谢谢~
Thank you for using the Issue submission template. Please follow the steps below to provide relevant information. We will prioritize issues with relatively complete information. Your cooperation is appreciated. *Hint:...
如果不使用Lora,直接微调,由于扩充词表,lm_head的size不一致,应该如何解决?报错如下: size mismatch for lm_head.weight: copying a param with shape torch.Size([250680, 4096]) from checkpoint, the shape in current model is torch .Size([0, 4096]). 谢谢~
您好,请问预训练输入的文本是否必须为: 或者还有其他注意事项吗,比如去重,过滤等。
感谢您使用Issue提问模板,请按照以下步骤提供相关信息。我们将优先处理信息相对完整的Issue,感谢您的配合。 *提示:将[ ]中填入x,表示打对钩。提问时删除上面这两行。请只保留符合的选项,删掉其他。* ### 详细描述问题 使用huggingface的run_clm.py中的Trainer api,如果扩充词表,size会发生变化,怎么最大程度利用原始的预训练模型?如何正确加载 ? 谢谢 ### 运行截图或log Error: size mismatch for transformer.word_embeddings.weight KeyError: 'model.layers.1.input_layernorm.weight' ### 必查项目 - [ ] 哪个模型的问题:LLaMA **
### 详细描述问题 请教一下第一阶段仅训练embedding层,是不是训练输入的embedding层和输出的head层,其他层冻结?谢谢。
### 详细描述问题 1、请问原始的LLaMA在训练时是否有指定哪个数据类型,使用float16会不会与原文无法对应,有溢出的风险。 2、看到block_size设置为512,请问是否过短,有尝试过1024的效果吗 谢谢。
### 详细描述问题 通过SentencePiece训练的tokenizer,合并没有问题,但是run_clm加载出错,Error如下,请问可以如何解决,感谢!! RuntimeError: CUDA error: an illegal memory access was encountered CUDA kernel errors might be asynchronously reported at some other API call,so the stacktrace below might be incorrect....
请问词表合并后的两个文件夹sp和hf有什么区别?是保存方式的不同吗?
Hello, thank you for your excellent job. I find that the animation sequence imported into UE is lying down, which has 90 degrees from the correct result. How can I...