Huatuo-Llama-Med-Chinese
Huatuo-Llama-Med-Chinese copied to clipboard
如何复现基于Chinese-alpaca-7b的医学知识和医学文献对话模型?
在本地测了Chinese-alpaca-7b + lora-alpaca-med-alldata,在多轮对话上,效果很好。
请问:
- 如何利用llama.json以及liver_cancer.json,如何合并数据集(一个多轮对话,一个单轮对话),直接合并放在一个文件么?
- 复现您们的训练效果,该使用哪个模板?('med_template' or 'literature_template.json')
- 目前我有 8 X A100(40G), micro_batch_size和batch_size该如何设置(都是64么?为您们设置的一半?)
- 关于LoRA的rank和alpha值?听说在垂直领域微调时,加大LoRA的rank值效果会好些,想问下您们关于LoRA的rank值以及alpha值的选取的相关经验
感谢您们百忙之中抽空解答,祝项目越来越好,感谢!