清华成果落地,领跑国产AI大模型!
清华成果落地,领跑国产AI大模型!
在国内自主研发大模型的企业中,由清华大学计算机系知识工程实验室转化而来的“智谱”无疑是一抹亮眼的存在。其研发的大模型GLM-4多项性能比肩大模型GPT-4,系列开源模型全球下载量超2000万,是目前下载量和开源影响力最高的国产大模型之一。从“实验”走向“市场”,“智谱”面向公众上线生成式视频功能“清影”,具备视频通话功能的软件“清言”,将前沿的科学技术转化成为人人可用的AI助手。
“智谱”公司的CEO正是清华大学计算机系1998级本科、2002级硕士校友张鹏。让我们一起走近这位“报国清华人”,共同感受清华人在各行各业服务国家和人民的拳拳报国志。
翻越技术的围墙
“中国要有自己的预训练模型框架”1998年,来自湖北的张鹏考入清华大学计算机系。通过深度参与实验室课题项目,他很快找到了自己的研究方向“文本数据挖掘和语义分析”。
爬山时的张鹏
在校期间,他先后发表10余篇顶会文章,设计了国内首个中英文平衡的跨语言知识图谱系统。毕业后张鹏选择加入清华大学计算机系知识工程实验室,继续探索前沿科技。
2006年起,实验室开始研究大数据挖掘与知识图谱,孵化了科技情报大数据挖掘与服务系统平台——AMiner系统。随着系统的不断成熟,团队开始考虑商业化,在2019年6月将AMiner单独拆分出来,成立新公司“智谱”。
2020年,Open AI发布参数规模达1750亿的GPT-3模型,吸引世界关注。在国外人工智能产品的冲击下,“中国要有自己的预训练模型框架”成为一种共识。张鹏参加中国计算机大会
GPT、BERT、T5都是西方科学家提出的底层技术,沿着已有路径走无疑最省力。然而,“核心的技术是求不来也买不来的”。作为清华人,要为国家、民族和社会做点事情。想要掌握前沿领域的先进技术,有些围墙必须越过。
张鹏和团队成员走上了艰难但可靠的自主研发道路。在大语言模型(LLM)浪潮中,团队惊喜地发现自研的预训练框架——GLM对人类输入意图以及一些常识或者知识类信息理解能力有着意想不到的表现。打破国外垄断,实现“弯道超车”有了希望。
团队当即决定投身到GLM预训练框架研发中。训练成本高、人力投入大、过程不稳定,面对行业公认的难题,张鹏认为“虽然局面复杂困难,但我们想做一些自己的事情”。通过不断对算法优化、量化,在保证精度和推理速度情况下,1300亿参数规模的双语预训练模型GLM-130B最终运行成本降低75%。同时,坚持自主研究还带来适配国产化硬件的优势,从源头杜绝信息泄露的可能,为国内信息安全上了一把“安全锁”。
2022年11月,斯坦福大学大模型中心对全球30个主流大模型进行全方位评测,团队研发的GLM-130B作为亚洲唯一入选的大模型,在鲁棒性、校准误差和无偏性方面取得了亮眼的成绩。“在同等或更小规模上,我们能达到世界顶尖水平,甚至在某些指标上更为领先”,张鹏介绍。
AI大模型飞入寻常百姓家
“我们的技术要去解决一些实际的问题”在清华大学计算机系“贯天、接地、通心、树人”理念影响下,张鹏对“科技服务于人”有着深刻理解。北京2022年冬奥会吸引着世界目光,冰上运动随之走入千家万户。各种专业术语和新闻主播200余字/分钟的语速,总让手语老师“手忙脚乱”。如何更好地满足听障朋友了解比赛需求?此刻,正是“大模型”在社会服务方面发挥作用的关键时刻。
团队研发的手语播报数字人
通过“大模型”理解音频语义,利用语义蒸馏模型、手语翻译模型,团队将语音转化为手语,结合肌肉绑定技术驱动实现面部采集。最后,出现在北京卫视舞台上的数字人以流畅自然的手语翻译,为千千万万听障朋友带来高效、精准的实时解说。
北京2022年冬奥会圆满结束,“翻译官”却没有“下班”。扎实的技术带来长久效应,团队研发的手语播报数字人至今活跃在电视台、网络平台、景区与公共服务厅,持续为听障朋友们提供无障碍服务。
前进!迈向通用人工智能
“让机器像人一样思考”科技的世界你追我赶,先进的技术迭代升级。2023年8月31日,基于ChatGLM研发的产品“智谱清言”上线,为用户实时提供通用问答、虚拟对话、代码生成、创意写作等多方面服务。前沿科学技术成为人人可用的AI助手。
2024年1月16日,团队发布新一代基座大模型GLM-4。与上一代相比,GLM-4有着更为亮眼的数据,性能全面提升60%,达到比肩GPT-4的水平。升级之后的大模型能够根据用户意图理解、规划复杂指令,自主调用网页浏览器、Code Interpreter代码解释器、文生图CogView3模型等工具完成复杂任务,单次处理的文本达300页。
“清影”生成的视频动图
2024年7月,“智谱”上线生成式视频功能“清影”,仅需一段话,或一张图,30秒就能自主生成一段1440×960清晰度的高质量视频。“智谱清言”面向所有用户开放。
视频通话功能在办公场景的应用
2024年8月30日,“智谱清言”再次进行重大升级,上线了国内首个面向客户端开放的视频通话功能。用户只需打开视频通话界面,便能享受到如同与AI“面对面”的交流体验。智谱大模型实现了从语言文字、图片再到视频的模态跨越,面向人工智能国际先进水平的模型矩阵初具规模。
“让机器像人一样思考”在技术进步中探索未来的无限可能。人工智能在解放生产力同时,也为科技创新留下了更多发展空间。从将清华实验室研究成果转化到百亿、千亿模型发布,再到细分领域AICG模型及产品矩阵搭建,脚踏实地,致力于产品研发升级,张鹏和团队每一步都走得稳扎稳打。
张鹏表示,“未来,大模型能帮大家做很多事情”。在张鹏和团队的梦想中,大模型之后是实现通用人工智能的最终目标。围墙之外的探索还在继续,新的路径将会通往何方?通用人工智能的愿景何时能够实现?清华人张鹏和智谱团队继续步履不停,在一步步探索前进中寻找答案。