Anima

Anima copied to clipboard

关于rlhf中source_max_length和target_max_len

3

在 [qlora_dpo.py](https://github.com/lyogavin/Anima/blob/dc691b2958f50a6d73a239b0e13c341ce6b2d60f/rlhf/qlora_dpo.py)中，看到对chosen 进行 `max_length=self.source_max_len` 的tokenize，对rejected进行`max_length=self.target_max_len`的tokenize，为什么呢？ https://github.com/lyogavin/Anima/blob/dc691b2958f50a6d73a239b0e13c341ce6b2d60f/rlhf/qlora_dpo.py#L491 我们以为source_max_len是指instruction + query 的lenth，target_max_len是response的length

jiahuanluo

这是一个非常nice的工作。 这里我有个小问题想请教一下： 如题，Anima33B的adapter model是和原始的LLama合并后得到Anima33B merged嘛

LiuChen19960902

Reference一定要和base一致吗

1

Reference模型如果使用大模型，base模型使用小模型能够让模型学习到reference的特征吗？

BillKiller

首先，非常喜欢作者的项目！ 如题，希望作者能提供一个量化后的demo，以支持在8卡V100上进行微调，感谢🙏

AILWQ

低消耗微调和推理这个太重要了

2

我对你们这个模型挺感兴趣的。 请问有详细的个性化微调、推理的技术交流或者支持吗？交流社区什么的 推理的性能怎么样？ 训练和推理的硬件配置建议怎么样？ 另外，可以用vllm来推动吗？

TodayWei

很棒的工作！ 单卡跑 33B 的模型，很让人兴奋，请问有计划开源并行训练的代码和运行脚本吗？

liutongyang

attn impl to sdpa...

4

new version of transfomer, no need to use BetterTransformer, try setting attn impl to sdpa... attn imp:

saa1028

Generation takes forever

3

## Env * Python 3.9.18 * NVIDIA GeForce RTX 4060 Laptop GPU * pytorch 2.1.1 * airllm 2.8.3 * Build cuda_12.2.r12.2/compiler.32965470_0 ## Model used https://huggingface.co/152334H/miqu-1-70b-sf ## Code ```python from airllm...

Kira-Pgr

mac m2 run air llm garage-bAInd/Platypus2-7B get error Input must be a file-like object opened in binary mode, or string

6

--------------------------------------------------------------------------- ValueError Traceback (most recent call last) Cell In[23], [line 2](vscode-notebook-cell:?execution_count=23&line=2) [1](vscode-notebook-cell:?execution_count=23&line=1) import mlx.core as mx ----> [2](vscode-notebook-cell:?execution_count=23&line=2) generation_output = model.generate( [3](vscode-notebook-cell:?execution_count=23&line=3) mx.array(input_tokens['input_ids']), [4](vscode-notebook-cell:?execution_count=23&line=4) max_new_tokens=3, [5](vscode-notebook-cell:?execution_count=23&line=5) use_cache=True, [6](vscode-notebook-cell:?execution_count=23&line=6) return_dict_in_generate=True) [8](vscode-notebook-cell:?execution_count=23&line=8)...

wuxiongwei

error in apple mac m3

2

import mlx.core as mx generation_output = model.generate( mx.array(input_tokens['input_ids']), max_new_tokens=3, use_cache=True, return_dict_in_generate=True) print(generation_output) error : [load] Input must be a file-like object opened in binary mode, or string

mustangs0786