用于训练大型语言模型的数据集缺乏透明度

用于训练大型语言模型的数据集缺乏透明度

引用

搜狐

1.

https://m.sohu.com/a/807463640_121961440

为了训练更强大的大型语言模型（LLM），研究人员使用了从成千上万的网络来源中汇集而成的庞大数据集。然而，随着这些数据集被多次组合和重组，有关其来源和使用限制的重要信息往往在过程中丢失或混淆。这不仅引发了法律和伦理问题，还可能影响模型的表现。例如，如果数据集被错误分类，可能会导致训练出的机器学习模型使用了不适合特定任务的数据。此外，来自不明来源的数据可能包含偏见，导致模型在实际应用中做出不公平的预测。

为了解决这一问题，来自麻省理工学院及其他机构的多学科研究团队对1800多个文本数据集进行了系统审计。他们发现，超过70%的数据集缺少某些许可信息，而大约50%的信息包含错误。基于这些见解，研究团队开发了一款名为数据来源探测器（Data Provenance Explorer）的工具，能够自动生成数据集创建者、来源、许可证及可允许用途的简易摘要。