GradientGuru

Results 17 comments of GradientGuru

RuntimeError: element 0 of tensors does not require grad and does not have a grad_fn

we've made update today. Pull the newest version of code from Hugging Face. And try our tested third party fine-tuning tool in README if you're interested.

请提供int8的模型下载

已提供Chat版本。见更新后的README

加载模型报错 get_input_embeddings NotImplementedError

pull hugging face的最新代码试试

什么时候有量化后的模型

已经有Chat的量化版本。见更新后的README

请问 Baichuan-13B-Base 的预训练最终 loss 收敛到了多少？

暂未计划提供

提问它是不是baichuan-13B，回答却是baichuan-7B，请问是为啥？

是的，有时会有错误回复

最大长度能不能进一步增大？

感谢建议。我们会在后续迭代中关注long context问题