我的开源
HuaTuo初体验
背景
华驼(HuaTuo)是一个基于中文医学知识的LLaMA微调模型。
[2023/04/28] 增加了基于中文Alpaca大模型进行指令微调的模型发布。
[2023/04/24] 增加了基于LLaMA和医学文献进行指令微调的模型发布。
[2023/03/31] 发布了基于LLaMA和医学知识库进行指令微调的模型发布。
计算资源需求
一张A100-SXM-80GB显卡上进行了训练，训练总轮次10轮，耗时约2h17m。batch_size=128的情况下显存占用在40G左右。预计3090/4090显卡(24GB显存)以上显卡可以较好支持，根据显存大小来调整batch_size。