yangliuIOC

RLHH

3

### Describe the Question Please provide a clear and concise description of what the question is. ### Describe your attempts - [ ] I walked through the tutorials - [...

裁剪词表

1

您好， 能否出个教程，因为bloom包含了大量的无用的词表，需要裁剪

embedding

16

为什么 我换成 sber的取embedding 效果差很多，

这种 和 直接用BM25检索本地的知识文档，效果有什么区别吗，，感觉这种就是稍微带点生成，

[2023-04-13 00:21:53,594] [INFO] [comm.py:639:init_distributed] Not using the DeepSpeed or dist launchers, attempting to detect MPI environment... 在这卡住好久， 请问您的MPI是哪个版本呀。mpi4py

ranking

1

您好， 我看您的ranking中的input_ids的embedding矩阵来自于，recall之后的模型的output，替换了cls sep。。 为什么不能直接使用原始的文本 直接 tokenizer +embedding呢？您对比过这两种区别么

def preprocess_function_eval(examples): inputs, targets = [], [] for i in range(len(examples[prompt_column])): if examples[prompt_column][i] and examples[response_column][i]: query = examples[prompt_column][i] history = examples[history_column][i] if history_column is not None else None prompt =...

教程

1

大佬能不能出一个最简化的 全量SFT QWEN1.5的 代码呀。

你的数据格式是不是 content： summry： 但是，alpaca的格式 instruct content summry

裁剪词表

1

请问，您知道如何裁剪词表吗