Huatuo-Llama-Med-Chinese
Huatuo-Llama-Med-Chinese copied to clipboard
SCIR-HI
Repo for BenTsao [original name: HuaTuo (华驼)], Instruction-tuning Large Language Models with Chinese Medical Knowledge. 本草（原名：华驼）模型仓库，基于中文医学知识的大语言模型指令微调
我观察到作者在README 中提到了目前已支持 中文Alpaca大模型。但其也是一个 lora 权重，如何在模型里加载两份 lora 权重呢？
在本地测了Chinese-alpaca-7b + lora-alpaca-med-alldata，在多轮对话上，效果很好。 请问： 1. 如何利用llama.json以及liver_cancer.json，如何合并数据集（一个多轮对话，一个单轮对话），直接合并放在一个文件么？ 2. 复现您们的训练效果，该使用哪个模板？('med_template' or 'literature_template.json') 3. 目前我有 8 X A100(40G)， micro_batch_size和batch_size该如何设置（都是64么？为您们设置的一半？） 4. 关于LoRA的rank和alpha值？听说在垂直领域微调时，加大LoRA的rank值效果会好些，想问下您们关于LoRA的rank值以及alpha值的选取的相关经验 感谢您们百忙之中抽空解答，祝项目越来越好，感谢！
 请问下图中的两个文件是怎么生成的呢，是直接运行finetune.py得到的吗？  感谢回答。
1. 期望复现 llama lora 使用文中提到的语料库训练； 2. 只修改 finetune.sh 中对应的 base model 路径，其他都未做修改； 3. 运行完之后，命令行报错： ``` he intermediate checkpoints of PEFT may not be saved correctly, using `TrainerCallback` to save adapter_model.bin...
“利用GPT3.5 API将医学文献中的【结论】作为外部信息融入多轮对话中，在此基础上对LLaMA进行了指令微调” 请问具体是怎么做的呢？是否能详细介绍一下？“结论”信息如何融入多轮对话中？