FlagEmbedding icon indicating copy to clipboard operation
FlagEmbedding copied to clipboard

请求activation beacon在LLaMA2-7B-base(非chat)上训练的checkpoints

Open hzby opened this issue 1 year ago • 2 comments

能够提供activation beacon在LLaMA2-7B-base(非chat)上训练的checkpoints吗,我们希望引用作为baseline进行比较

hzby avatar Sep 24 '24 06:09 hzby

hi, 目前没有, 你可以直接测我们发的那个 ckpt. 不过近期我们会更新一下论文和模型, 效果更好

namespace-Pt avatar Sep 25 '24 06:09 namespace-Pt

请问是否可以提供LONG CONTEXT COMPRESSION WITH ACTIVATION BEACON(ICLR‘25)中pretrained+fine-tuned llama2-7b的模型和mistral-7b的模型以及在longbench上的实验结果

KangcongLi avatar Apr 10 '25 08:04 KangcongLi