专注于分享
分享好资源

科大讯飞刘聪:算法将成为大模型竞争关键

科技日报实习记者 都芃

“我们致敬、学习Open AI,但也在努力超越。”5月6日下午,科大讯飞在合肥正式发布讯飞星火认知大模型。发布会后,科大讯飞研究院院长刘聪在接受科技日报记者采访时表示,在算力提升遭遇瓶颈,训练数据数量、质量有限的情况下,算法在大模型研发中的关键作用愈加凸显。“算法优势是讯飞星火大模型的核心竞争力,能够弥补目前国内大模型研究在算力和数据方面的不足。”刘聪说道。

不久前,Open AI创始人及CEO奥特曼在麻省理工学院接受采访时表示,大语言模型的规模已接近极限,并非越大越好。他认为,大模型发展不应一味追求参数数量,未来大模型或以多个小模型相互协作的方式运行。刘聪也表示,现阶段大模型的基础理论已十分明晰,更像是一种系统性的复杂工程,“如何将其中的每一个环节‘做透’,通过算法的优化,将每一部分组合在一起发挥更大作用将是接下来发展重点。”

算法、算力、数据被认为是大模型研发中必不可少的三大基础要素,也是制约大模型成果水平的关键因素。

在谈到数据问题时,刘聪坦承,当下能够使用的中文训练数据,在数量和质量上较英文数据仍有一定差距。“我们有时候开玩笑地讲,同样是网络论坛数据,英文论坛内容质量相对较高,中文论坛内容最后往往变成了吵架。”但他也表示,污点数据问题在全世界范围内都存在,如何清洗污点数据考验着各家大模型的算法水平。讯飞星火认知大模型给出的解决方案之一是中英文混合训练。在发布会现场的实景演示中,讯飞星火认知大模型在英文问答中出现了一个小差错,在英文回答中混入了一个中文单词。针对这一问题,刘聪并未回避,他直言,“由于我们是完全真实的实景演示,难免会出现小bug(故障)。出现这一问题的原因是我们采取了中英文混合训练模式。”刘聪表示,借助这一训练模式,英文数据可以与中文数据相互补充、验证,一定程度上弥补单语种数据集的不足。“我们认为,中英文混合训练才会出现真正的‘智能涌现’。”

刘聪认为,对于大模型研究,算力并非决定性因素。“算力当然要有,但并非像大家认为的,必须要有上万块GPU(图形处理器)才可以做。我们可以通过算法的提升来优化对算力的需求。”科大讯飞董事长刘庆峰介绍,在算力自主可控方面,科大讯飞已联手华为、寒武纪等企业,让大模型建立在安全可控的国产算力平台之上。“面对各种可能的风险,我们已有所准备,目前的升级计划不会受到影响。”刘庆峰表示,未来要努力打造大模型全生态自主可控。同时他也指出,大模型研究不能闭门造车,要从全世界获取数据,学习全世界的知识。而针对影响大模型性能效果以及价值观不正确的问题数据,要借助算法进行严格清洗,确保最终价值导向正确。“科大讯飞将秉持源头创新、自主可控、信息安全、人文伦理的原则,在保护伦理和安全的前提下健康发展。”刘庆峰强调。