中国电信将进一步开源12B星辰大模型 支持国产芯片训练推理

来源:爱集微 #中国电信# #大模型# #开源#
4w

近日,中国电信开源12B参数规模星辰语义大模型TeleChat-12B。另据悉,中国电信还将于年内开源千亿级参数大模型。

相较1月开源7B版本,12B版本在内容、性能和应用等方面整体效果提升30%,其中,多轮推理、安全问题等领域提升超40%。在C-eval、MMLU、AGIEVAL等国际权威榜单上,排名处于国内同级别参数开源模型的前列。此举将进一步促进大模型开源生态繁荣,助力AI产业加速高质量发展。

据了解,TeleChat-12B将7B版本1.5T训练数据提升至3T,优化数据清洗、标注策略,持续构建专项任务SFT(监督微调)数据,优化数据构建规范,大大提升数据质量;同时,基于电信星辰大模型用户真实回流数据,优化奖励模型和强化学习模型,有效提升模型问答效果。

此次开源提供基础模型以及基于相应版本的对话模型,不仅支持传统的全量参数更新,还支持 LoRA 等只更新部分参数的高效微调方法,支持Deepspeed微调及int8、int4量化和国产芯片训练推理,推动大模型国产化进程。

据悉,星辰大模型已广泛应用落地,赋能千行百业转型升级。客服大模型在全国试点上线18个服务场景,充分赋能智慧客服和数字人,在激活十亿级的日志、百亿级的网络参数等海量数据资产的基础上,进一步深化智能化运营。


责编: 姜羽桐
来源:爱集微 #中国电信# #大模型# #开源#
THE END

*此内容为集微网原创,著作权归集微网所有,爱集微,爱原创

关闭
加载

PDF 加载中...