本草[原名:华驼(HuaTuo)]: 基于中文医学知识的LLaMA微调模型
本项目开源了经过中文医学指令精调/指令微调(Instruct-tuning) 的LLaMA-7B模型。我们通过医学知识图谱和GPT3.5 API构建了中文医学指令数据集,并在此基础上对LLaMA进行了指令微调,提高了LLaMA在医疗领域的问答效果。
基于相同的数据,我们还训练了医疗版本的ChatGLM模型: ChatGLM-6B-Med
此外,我们还尝试利用GPT3.5 API将医学文献中的【结论】作为外部信息融入多轮对话中,在此基础上对LLaMA进行了指令微调。目前。我们只开放针对"肝癌"单个疾病训练的模型参数。在未来,我们计划发布融入文献结论的医学对话数据集,并且会针对“肝胆胰”相关16种疾病训练模型。
Zygote Media Group, Inc. 成立于 1994 年,自成立以来一直致力于打造世界...
阅读量: 22 2024-11-17
当今人类正面临着大规模的灭绝:每个月都至少有一种语言消亡。当一种语言消亡时,这种看待世界的独特视角也...
阅读量: 12 2024-11-17