12月4日消息,浪潮信息近日发布了“源 2.0”基础大模型,并宣布全面开源。源2.0基础大模型包括1026亿、518亿、21亿等三种参数规模的模型。

据介绍,源2.0通过使用中英文书籍、百科、论文等高质量中英文资料,降低了互联网语料内容占比。为了获取中文数学数据,浪潮信息清洗了从2018年至今约10PB的互联网数据,但仅获取到了约10GB的数学数据。

为了更高效地获得相对匮乏的高质量中文数学及代码数据集,源2.0采用了基于大模型的数据生产及过滤方法,在保证数据的多样性的同时也在每一个类别上提升数据质量。

算力方面,源 2.0 采用了非均匀流水并行的方法,综合运用流水线并行 + 优化器参数并行 + 数据并行的策略,让模型在流水并行各阶段的显存占用量分布更均衡,避免出现显存瓶颈导致的训练效率降低的问题。

源 2.0 在评测上进行了代码生成、数学问题求解、事实问答方面的能力测试,测试结果显示,源 2.0 整体表现处于中上水平。

点赞(289) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部