rerope icon indicating copy to clipboard operation
rerope copied to clipboard
verified publisher icon bojone

Monkey patch for original LLaMA2 code.

Open WeixuanXiong opened this issue 2 years ago • 1 comments

作者您好，感谢您的分享！ 目前我的工作基于meta发布的原始llama2的代码和权重上，不知道本仓库是否有更新基于原始llama2仓库的rerope的patch的实现方式的计划呢？

WeixuanXiong avatar Aug 14 '23 12:08 WeixuanXiong

我稍微看了一下，meta版llama2代码改起来可能比transformers版还简单，可以自行尝试一下。

主要是我平时根本不用torch，改transformers版已经有点勉强了，实在不好改～

bojone avatar Aug 14 '23 14:08 bojone