首页>中国>大模型>MOSS

MOSS

MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型。

2023年2月20日,解放日报·上观新闻记者从复旦大学自然语言处理实验室获悉,MOSS已由邱锡鹏教授团队发布,邀公众参与内测。2月21日,该平台发布公告,感谢大家的关注,同时也指出,MOSS还是一个非常不成熟的模型,距离ChatGPT还有很长的路需要走

MOSS

MOSS是一个支持中英双语和多种插件的开源对话语言模型,moss-moon系列模型具有160亿参数,在FP16精度下可在单张A100/A800或两张3090显卡运行,在INT4/8精度下可在单张3090显卡运行。MOSS基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。

局限性:由于模型参数量较小和自回归生成范式,MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容,请谨慎鉴别和使用MOSS生成的内容,请勿将MOSS生成的有害内容传播至互联网。若产生不良后果,由传播者自负。

相关推荐