如何让大模型的输出长度可控？Meta AI开源新方法

如何让大模型的输出长度可控？Meta AI开源新方法

引用

CSDN

1.

https://blog.csdn.net/sinat_37574187/article/details/140018795

在实际的应用落地过程中，经常会遇到期望“大模型输出的长度不能超过多少” 这种需求。但是在prompt中，加了一个代表输出长度的参数约束之后，模型大概率还是不会按照你约束的要求来输出。这里的原因可能有很多，比如，对齐的模型评估因为存在长度偏差，算法倾向于输出更长的响应来利用偏差等。即使是目前最顶级的大模型：GPT4、Claude3 ops，仍然会出现几乎50%的概率违反长度约束，如下图的红蓝点占比几乎接近，这说明现有的模型在控制输出长度时存在的重大缺陷。

尽管一些评估基准测试通过引入长度惩罚来对抗这种偏差，但这并未从根本上解决问题。文章认为，许多查询中期望的回答长度是定义不明确的，这种模糊性使得评估变得困难，并影响了使用这些评估信号的训练算法。因此作者提出，在评估中应包含进一步的明确化指令，规定期望的回答长度。例如，通过添加“回答应少于300个单词”的额外指令来解决模糊性。并且为了改善模型遵循长度指令的能力，提出了LIFT（Length-Instruction Fine-Tuning ）的方法，测试效果如下图，通过指定生成的最大长度，模型基本都会遵守。

LIFT方法的具体实现

LIFT方法首先构建长度指令微调数据。该训练数据由偏好对组成，可用于通过 RLHF 或其他偏好优化方法来训练模型。

数据构造方式：

1. 选择一个已有的偏好对齐数据集，数据格式为(x,y_w,y_l)
2. 过滤掉len(y_w)与len(y_l)长度差异小于阈值T=10的样本
3. 对于筛选出的回答对，使用特定的模板在原始提示前插入长度指令。这个模板要求模型生成的回答不超过特定的单词数量。
4. 构建新的偏好对，文字描述&图片描述如下：

• 如果len(y_w) > len(y_l)，则可以构造2个样本，长度约束大于二者最大长度，仍然是y_w > y_l；长度约束介于len(y_l)和len(y_w)之间，则修改为y_l > y_w
• 如果len(y_w) < len(y_l)，构造方式同上一致，但是这种情况不用修改win，lose

构造完数据，使用dpo训练。

评测的一些结论

1. LIFT-DPO方法显著提高了模型遵循长度指令的能力。例如，Llama2-70B-Base模型在接受标准DPO训练时，在AlpacaEval-LI上的违反率为65.8%，而在接受LIFT-DPO训练后，这一比率大幅降低到7.1%，同时胜率也从4.6%提高到13.6%。
2. LIFT-DPO训练不仅提高了遵循长度指令的能力，而且保持了在没有长度限制时的指令跟随性能。在没有长度指令的标准AlpacaEval 2和MT-Bench基准测试上，与标准DPO模型相比，没有表现出性能下降。这表明
3. 通过逐步减少长度指令的限制（通过缩放因子），发现LIFT-DPO模型即使在非常严格的长度限制下，也能保持低违反率（低于10%），而标准DPO和R-DPO模型的违反率则随着长度限制的减少而显著增加。

最后

文章通过提出LIFT方法，目标是减少模型评估中的“长度偏差”，提高模型遵循用户指令的生成长度约束的能力，使得大模型在实际应用中提供更多的可控性。