LLaMA-Megatron icon indicating copy to clipboard operation
LLaMA-Megatron copied to clipboard

Published 20 hours ago • verified publisher icon MoFHeka

关于基于megatron的LLAMA 推理相关代码

Open zhangbin1997 opened this issue 1 year ago • 1 comments

请问老哥，我这边基于您LLaMA-Megatron仓库和 Megatron-LM仓库实现了LLAMA预训练，但好像这两个仓库中都没有提供基于Megatron的LLAMA模型的inference推理代码呢，请问您已经实现了相关代码吗？并且我看官方的Megatron-LM仓库中，只有GPT Evaluation和Bert Evaluation的代码，我如果根据官方的GPT inference代码直接修改成LLAMA inference代码的话，这其中是否会有很多bug呢？ 谢谢～

zhangbin1997 avatar Jul 19 '23 03:07 zhangbin1997