danny-zhu

你在什么操作系统上转的？我这边用ubuntu22.04 量化转换后体积缩小了近4倍。

> 又测试了一下，似乎txt文件才会互相覆盖，PDF还好。但还有个问题是不同资料库的数据会串，如果建立本地资料库的话会很不方便 我也是遇到了大文本上传的难题，内存32G，上传超过50M的文本就会内存溢出，改成多个小文本上传又会覆盖

大文本可以拆分成多个小文本，分批上传，不要一次性上传文件夹，一个一个文件上传。 代码实现可以参考  对于单个大文件，可以自行分批处理，参考如下代码： ```python # 分批处理文本，应对大文本一次性处理导致内存溢出的问题 batch_size = 10000 # 按照N个tokens一批进行处理，可以根据自己的服务器内存配置进行调整 docs_len = len(docs) for i in range(0, docs_len, batch_size): batch_docs = docs[i:i + batch_size] logger.info(f"Building vector db from...

> 想问下加载微调模型时出现这个错误怎么解决呢？ > > The device_map provided does not give any device for the following parameters: transformer.prefix_encoder.embedding.weight 单机多卡跑会遇到这个情况，可以先临时用单卡跑，loader.py中num_gpus = torch.cuda.device_count()，改成num_gpus = 1

> model_config.py里面的USE_PTUNING_V2参数系统启动时没有加载，启动后手动勾选”使用p-tuning-v2微调过的模型“选项会导致程序无法正常回答问题。可以修改代码让其启动时从配置文件中加载USE_PTUNING_V2，修改models/loader/args.py增加parser.add_argument('--use-ptuning-v2', action='store_true', default=USE_PTUNING_V2, help='Load the use p-tuning-v2 prefixencoder.')

用ptuning和lora微调，尝试了很多次，调学习率，把训练集增大到几千条，效果都不好。两种方式都会遇到回答错误，循环输出（lora微调后循环输出的情况非常频繁，ptuning微调后遇到英文提问回答完全错误的情况），最后没办法还是通过自定义知识库，来解决大模型自我认知的微调问题。走了不少弯路，建议打算用lora或者Ptuing微调的人，可以放弃了。还是prompt template方式最靠谱，外挂知识库，灵活且不影响回答质量。对于外挂知识库，条数还是要增加大一些，最开始用18条自我认知训练集，效果很不好，加大到1000条，效果就很好。可以通过多构造不同的提问和回答，以及重复提问和回答的方式，把条数加上去试试，效果很赞。

>  > > 但是输出的结果也是在合理范围内呀 > >  > > 有大佬帮忙看看什么原因吗。谢谢啦 hi 问题解决了吗？运行时会分析掩膜文件，输出掩膜值，可以看一下输出的结果是什么，比如我这边的输出是这样的： ``` INFO: Scanning mask files to determine unique values 100%|███████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 22806/22806 [00:15

server.knowledge_base.kb_service.milvus_kb_service.MilvusKBService._load_milvus函数中初始化milvus的时候指定参数auto_id=True，如下： def _load_milvus(self): self.milvus = Milvus(embedding_function=EmbeddingsFunAdapter(self.embed_model), collection_name=self.kb_name, connection_args=kbs_config.get("milvus"), index_params=kbs_config.get("milvus_kwargs")["index_params"], search_params=kbs_config.get("milvus_kwargs")["search_params"], auto_id=True )

根据你提供的报错信息的头部错误提示：2024-04-26 16:03:56,433 - embeddings_api.py[line:39] - ERROR: Repo id must use alphanumeric chars or '-', '_', '.', '--' and '..' are forbidden, '-' and '.' cannot start or end the name,...

我这边也遇到相同的问题，可以试试把model_config中用的模型路径写完整就可以解决了。MODEL_ROOT_PATH这参数可能是有的地方没有自动拼接上，我还没来得及去逐行排查代码，你们遇到可以试试看。