大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率
大模型预测问题的计算复杂度，用不同能力的LLMs协作提高推理效率
大语言模型（LLMs）在人工智能领域取得显著进展，但同时也带来了推理成本方面的挑战。而随着模型变得更加先进，所需的计算资源显著增加，如GPT-4的计算量是GPT-3.5的十倍左右。通常用户会倾向于使用最强大的模型来处理所有任务，而不考虑任务的复杂性。该研究提出一种系统化的方法，微调小型语言模型来评估任务复杂性来自动选择最合适的模型，以减少计算资源的浪费。
表一：不同模型的成本
这项研究中，首先根据编程问题数据库，给出对应的prompt，之后分别使用Lamma7B，GPT3.5和GPT4 尝试回答问题，每个模型运行五次，计算每个模型的给出正常答案的成功率，之后根据不同模型成功率的差异，定义问题的计算复杂性。具体分级方式如图2所示。
图1：研究所用的问题复杂度如何计算
图3：微调后的GPT3.5模型能够预测问题的复杂性
如果对比将所有180道编程题目交给GPT-4进行运算的成本，以及先使用微调后的模型进行复杂度判别，将复杂度1的问题交给Lamma，复杂度2和3的问题交给GPT3.5，而将其余问题使用GPT4回答，先估计复杂度的方法能实现了90%的推理成本降低，同时保持了86.7%的准确率。
总结
这篇论文提出了一个名为 "ComplexityNet" 的框架，旨在通过评估任务复杂性并将其分配给不同能力的LLMs来提高推理效率。与传统的将所有任务分配给最复杂模型的方法相比，该框架通过微调小型模型来预测任务复杂性，并根据预测结果选择最合适的模型，从而在保持高准确率的同时显著降低了计算资源的使用。这项研究为优化LLM应用提供了一个有希望的方向，尤其是在资源受限的环境中。
该研究专注于提高LLMs的使用效率和成本效益，而不是单纯追求模型的规模和能力。它的特点在于提出了一种系统化的方法来评估任务复杂性，并根据评估结果智能选择最合适的模型，这对于资源优化和可持续的AI发展具有重要意义。
类似的方案，不止针对编程类任务。例如针对使用大模型进行翻译的应用场景，可根据输入prompt的复杂度（如信息熵，文本中的结构，单词频率等）来对任务进行分类，并根据复杂度调整推理时采用的模型，从而减少成本。在其它推理类任务中，也可以采取类似该文的方式，根据不同参数大小模型的准确性差异，来定义问题的复杂度，再通过微调小模型来先预测问题的复杂度。而这样简单有效的工具，则说明了计算复杂度这一认知概念，在大模型时代，仍然能够有实用的新应用场景。
本文原文来自集智俱乐部