清华LongWriter：突破 10,000 字生成的长上下文AI模型

清华LongWriter：突破 10,000 字生成的长上下文AI模型

引用

腾讯

1.

https://new.qq.com/rain/a/20240820A00KLC00?media_id=&openApp=false&suid=&web_channel=wap

在自然语言处理领域，长上下文语言模型（LLMs）一直是研究的热点。当前的长上下文大语言模型（LLMs）虽然能处理多达 10 万个标记的输入，但生成的输出却很难超过 2000 字这样一个不算长的长度。今天，我们要介绍的是由清华大学数据挖掘研究组（THUDM）开发的LongWriter项目，它能够生成超过 10,000 字的长文本内容！

什么是 LongWriter？

LongWriter 是一种专为处理长上下文而设计的语言模型。它的核心目标是解决传统语言模型在处理超长文本时遇到的挑战。通过优化模型架构和训练方法，LongWriter 能够在保持高质量输出的同时，生成超长文本。

LongWriter 目前有两个版本，分别为：LongWriter-glm4-9b 和 LongWriter-llama3.1-8b。此外，官方还在 agentwrite/ 目录下开源了 AgentWrite，这是一种自动化的超长输出数据的构建流程。

如何使用？

代码地址：