Huatuo-Llama-Med-Chinese icon indicating copy to clipboard operation
Huatuo-Llama-Med-Chinese copied to clipboard

如何复现基于Chinese-alpaca-7b的医学知识和医学文献对话模型?

Open LouisHeck opened this issue 1 year ago • 0 comments

在本地测了Chinese-alpaca-7b + lora-alpaca-med-alldata,在多轮对话上,效果很好。

请问:

  1. 如何利用llama.json以及liver_cancer.json,如何合并数据集(一个多轮对话,一个单轮对话),直接合并放在一个文件么?
  2. 复现您们的训练效果,该使用哪个模板?('med_template' or 'literature_template.json')
  3. 目前我有 8 X A100(40G), micro_batch_size和batch_size该如何设置(都是64么?为您们设置的一半?)
  4. 关于LoRA的rank和alpha值?听说在垂直领域微调时,加大LoRA的rank值效果会好些,想问下您们关于LoRA的rank值以及alpha值的选取的相关经验

感谢您们百忙之中抽空解答,祝项目越来越好,感谢!

LouisHeck avatar May 16 '23 07:05 LouisHeck