HuixiangDou icon indicating copy to clipboard operation
HuixiangDou copied to clipboard

Published 20 hours ago • verified publisher icon InternLM

关于本地部署的一些问题

Open Toblame opened this issue 3 months ago • 3 comments

尊敬的茴香豆开发人员您好，我在学习研究项目时有以下问题仍然有点困惑请求解答：

  1. web search超出免费限额的费用标准？ 是否可以关闭web search功能？
  2. 本地部署支持的llm种类以及服务框架（fastchat？vllm？lmdeploy？）？是否支持自己微调后的模型？
  3. 本地单卡部署茴香豆，llm为finetune后internlm2-chat-20b，推荐显卡配置？

Toblame avatar Apr 02 '24 03:04 Toblame