问小白 wenxiaobai
资讯
历史
科技
环境与自然
成长
游戏
财经
文学与艺术
美食
健康
家居
文化
情感
汽车
三农
军事
旅行
运动
教育
生活
星座命理

大语言模型面临的十大科学挑战

创作时间:
作者:
@小白创作中心

大语言模型面临的十大科学挑战

引用
1
来源
1.
https://www.develpress.com/?p=5970

大语言模型作为人工智能领域的前沿技术,近年来取得了显著进展。然而,其在实际应用中仍面临诸多挑战。本文系统梳理了大语言模型目前存在的不足、面临的科学挑战,并提出了相应的对策建议。

在人工智能领域,大模型已经成为当下技术发展的一个重要趋势。大模型通常是指,参数数量超过千万甚至上亿级别的深度学习模型,这些模型通过对海量数据的训练,能够拥有强大的预测和生成能力,被广泛应用于如自然语言处理、图像识别、语音合成等方面。其中,语言模型是大模型的一个重要分支,它通过对人类语言数据的训练,能够理解和生成自然语言文本。大模型的核心能力在于其能够通过预测下一个词的概率来生成文本。

大语言模型存在的不足

  1. 无法实时获取最新信息:大语言模型需要训练大量的文本数据,而这些数据往往都是过去的语料库,无法实时获取最新的信息。

  2. 无法进行多步推理和反向推理:目前的语言模型仍然无法进行多步推理,这意味着它们无法根据一系列前提或条件推理得出结论。

  3. 无法进行长运算:由于大语言模型是基于概率进行预测的,因此,它们给出的答案并不一定百分百准确,较长的运算容易出错。

  4. 无法处理复杂计算和逻辑推理:大语言模型并没有接受过数学运算、逻辑推理等任务的训练,对于一些复杂的计算和逻辑推理任务往往无法胜任。

  5. 无法承载较长的输入:如果将近千页的文档利用大语言模型进行分析,是没有办法得出结果的。

大语言模型面临的科学挑战

  1. 模型架构:现在大模型的基础架构非常复杂,这限制了模型规模的进一步扩大。

  2. 思维链:大模型的多步推理仍然较弱,无法将一个复杂问题拆分成几个简单问题,目前的人工智能无法生成思维链。

  3. 数据的训练:现在的大语言模型是多阶段训练和测试的,无法根据其在训练集上的表现推测出它在测试集上的表现。

  4. 幻觉问题:生成式模型会生成一些现实世界不存在的,或者和事实相违背的结果。

  5. 多模态扩展:当前的语言模型还不能接受语言以外的其他模态信息,如音频、视频、图像等。

  6. 持续学习:当人类产生的知识和数据来源不足以支撑模型训练时,该如何继续提高模型呢?

  7. 实时学习:人工智能在与人交互的时候,是否能通过与人类的交互反馈去学习。

  8. 智能代理:如何将“对话式”的大模型转变成类智能体,增加其使用工具的能力和规划能力,也是一个重要方面。

  9. 自动化评价:现在还没有找到一个客观指标评价人工智能的能力,反映人类对此的真实感受。

  10. 大模型的大众化:大模型的算力成本非常高,如何让大众在消费级显卡上使用大模型也变得非常重要。

对策与建议

从目前来看,我们还不能完全解决上述这些问题,但是不妨碍以后通过工程技术的发展来解决。例如,可以通过接入搜索引擎来解决无法实时获取最新信息的问题,让其学会使用各种各样的插件,学会使用搜索引擎。此外,还有一个非常重要的问题,即如何让大模型对齐人类的价值观,这就需要人类对其进行“点赞”,对其回答质量进行打分,识别哪些是更安全、更无害的社会行为规范。通过训练某个模型,让模型不停地迭代,然后给出更好的答案。在训练模型的过程中,需要遵循三个基本原则:有用性、诚实性和无害性,通过对齐人类的价值观使得这个模型更加安全。

© 2023 北京元石科技有限公司 ◎ 京公网安备 11010802042949号