Toblame

关于本地部署

2

您好，想了解确认下本地部署支持的llm种类是否支持自己微调后的模型？

请问在基于单轮对话的微调时，想让模型在垂直领域回答的能力更强，对于数据集中的知识学习记忆效果更好在数据集处理以及参数上有什么tricks嘛，谢谢。

About the enwiki-20230401

5

after download the data and set the environment, I run this command python -m factscore.factscorer --input_path "/root/FNDLLM/test.jsonl" --model_name "retrieval+llama+npm" --use_atomic_facts --data_dir '/root/.cache/factscore/ and get this File "/root/anaconda3/envs/factstore/lib/python3.7/site-packages/factscore/retrieval.py", line 57, in...

关于本地部署的一些问题

3

尊敬的茴香豆开发人员您好，我在学习研究项目时有以下问题仍然有点困惑请求解答： 1. web search超出免费限额的费用标准？ 是否可以关闭web search功能？ 2. 本地部署支持的llm种类以及服务框架（fastchat？vllm？lmdeploy？）？是否支持自己微调后的模型？ 3. 本地单卡部署茴香豆，llm为finetune后internlm2-chat-20b，推荐显卡配置？