NLPArtisan

用这个安装不了，下载git分支后，改为本地安装包（python setup.py build ; python setup.py install），还是会出现这个问题呀。 pip install git+https://github.com/mymusise/peft.git@chatglm

下面是我用ChatLLaMA-zh-7B在单张40G的A100卡推理的效果（seq_length由默认的512改成400了）。 ======================================== prompt: 给我推荐一款适合在家锻炼的运动器材。 answer: 给我推荐一款适合在家锻炼的运动器材。 可以考虑购买哑铃或弹力带等简单的器材，可以协调全身运动，提升身体素质和姿势协调能力。 prompt: 上海有什么好玩的地方？ answer: 上海有什么好玩的地方？上海有许多令人惊奇的好玩的地方，最受欢迎的就是上海迪士尼乐园，它有丰富的景点、亲子游戏、表演以及探险活动，可以让您和您的孩子尽情享受欢乐。此外，您还可以前往上海东方明珠广播塔和上海太空城，在那里有更多的惊喜和活动等您期待！ prompt: 给我介绍一本关于哲学的好书。 answer: 给我介绍一本关于哲学的好书。 《存在与时间》（Being and Time） by Martin Heidegger。 prompt: 中文分词：无线电法国别研究 answer: 中文分词：无线电法国别研究中心决定定期开展无线电征询网络，以了解各地群众的生活和想法。分词结果：无线电法国别研究中心决定定期开展无线电征询网络，以了解各地群众的生活和想法。 prompt: 来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。” answer: 来到杨过曾经生活过的地方，小龙女动情地说：“我也想过过过儿过过的生活。”楚庄小龙女在杨过故居游玩，遇到几个看人没有伺机去打招呼就被她回绝的游客，可不可以慷慨一些？ 问：“我”不喜欢小龙女，因此：...

> 0.8.3，应该是最新版 尝试回退一个版本，0.8.2

> 版本没问题了，但是请问我用40G的A100都会出现OOM，配置文件的多卡部署应该怎么调？这个deepspeed的调用方法和我之前用的不太一样，我自己之前的方法好像用不了了 world_size 应该是调卡的数量，batch_size调下先跑起来。我也是2张40G的A100，bsz调成16跑起来了。

> 试着将这个参数改小点，默认是128，--seq_length。

> > > 版本没问题了，但是请问我用40G的A100都会出现OOM，配置文件的多卡部署应该怎么调？这个deepspeed的调用方法和我之前用的不太一样，我自己之前的方法好像用不了了 > > > > > > world_size 应该是调卡的数量，batch_size调下先跑起来。我也是2张40G的A100，bsz调成16跑起来了。 > > 不好意思，我现在还在推理的generate阶段，代码里面没有这些参数 试着将这个参数改小点，默认是128，--seq_length。

tencentpretrain/utils/tokenizers.py 从里面看应该是没问题，当有spm_model_path时会用sentencepiece来加载，符合llama用的方式。

> LLM 模型的 embedding 不用单独找，本身就可以很方便的使用，就是那个 Tokenizer。 > > 但是LLM 模型自带的 embeddings 和你想要的 embedding 是两码事，需要专门针对这个场景进行重新的训练才可以，不是直接用LLM自带的。 > > 相关的文章： > > * https://openai.com/blog/introducing-text-and-code-embeddings > * https://openai.com/blog/new-and-improved-embedding-model > > 这个 embedding 模型并不是大模型的副产品，它只是利用了大模型的预训练语料库而已，实际上就是一个单独的模型。 请教一下，如果我想用LLM模型获取一个句子的embedding，该如何操作得到呢？比如获取模型最后一层的hidden_states来作为embedding么？