DataAnalysist
DataAnalysist
@qinwf 您好，假设有个list，其中包含多条文本，如果设置topn=4的话，提取的关键词一定是4个吗
# 创建单任务数据处理函数 def create_fn(problem_list): # do some print("do work") @preprocessing_fn def example_cls(params, mode): train_texts, train_labels = [], [] test_texts, test_labels = [],[] # 训练模型 if (mode == TRAIN): input_list =...
> > DPO 不是用来刷数据集准确率的 > > 但是我记得dpo是可以拿来提高模型能力的呀？还有dpo具体的流程究竟是什么呀？我现在加了一个merge sft lora的操作好像准确率有提高。可是readme的dpo example里没有提到merge lora。我现在inference和train的流程和readme里全都不一样但是准确率好像高了一些。 推理的时候可以先把dpo训练的数据merge后再进行推理： （1）把dpo训练的模型进行merge ``` MODEL_PATH=/your path/Qwen1.5-32B-Chat OUTPUT_PATH=/your path/qwen-32b-dpo EXPORT_PATH=/your path/qwen-32b-dpo-merge python ../src/export_model.py \ --model_name_or_path $MODEL_PATH \ --adapter_name_or_path $OUTPUT_PATH \ --template...
@songkq maybe you should retry install nccl. url:https://developer.nvidia.com/nccl/nccl-legacy-downloads （1）update nccl mirrors sudo dpkg -i nccl-local-repo-xxx.deb （2）install nccl sudo apt install libnccl2=2.18.1-1+cuda12.1 libnccl-dev=2.18.1-1+cuda12.1 （3）add nccl environment export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib/x86_64-linux-gnu
> > pip list | grep nccl to check if you have two versions， you should remove the unnecessary one > > Thanks for the suggestion @ywglf. `pip list |...
faiss有gpu版本的，为何这个版本不使用呢
> +1，可通过配置，增加常用的向量检索框架，如annoy，faiss以及jina
> > faiss有gpu版本的，为何这个版本不使用呢 > > milvus可是存算分离的，上生产可比faiss猛多了 有道理。还是国产开源的
同求大兄弟能不能把比赛数据放出来
does it support multivariable