ACL 2024论文：PlugIR实现交互式文本到图像检索的即插即用方法

创作时间:

作者:

@小白创作中心

ACL 2024论文：PlugIR实现交互式文本到图像检索的即插即用方法

引用

CSDN

https://m.blog.csdn.net/fyf2007/article/details/145189445

本文介绍了一篇发表在ACL 2024上的论文，该论文提出了一种名为PlugIR的交互式文本到图像检索方法。PlugIR通过利用大型语言模型（LLMs）的一般指令遵循能力，实现了无需微调即可使用任意黑盒模型进行检索，并构建了一个基于当前检索候选图像信息生成非冗余问题的LLM提问者。此外，文章还提出了一个新的评估指标Best log Rank Integral（BRI），用于全面评估交互式检索系统。

《Interactive Text-to-Image Retrieval with Large Language Models: A Plug-and-Play Approach》
https://arxiv.org/pdf/2406.03411

1. 概览

本文的核心问题是在交互式文本到图像检索任务中处理对话形式的上下文查询。作者提出了名为PlugIR的方法，通过利用大型语言模型（LLMs）的一般指令遵循能力，以即插即用的方式解决了两个关键问题：一是无需在现有视觉对话数据上微调检索模型，即可使用任意黑盒模型；二是构建基于当前检索候选图像信息生成非冗余问题的LLM提问者，减少了生成问题的噪声和冗余。此外，文章还提出了一个新的评估指标Best log Rank Integral（BRI），用于全面评估交互式检索系统。实验结果表明，PlugIR在多个基准测试中优于零样本和微调基线模型，并且其方法可以灵活地单独或一起应用于各种情况。

2. 论文研究背景、技术背景和发展历史

文本到图像检索任务旨在从图像数据库中找到与输入文本查询对应的图像。随着视觉-语言多模态模型的发展，这一领域取得了显著进展。传统的检索方法通常采用单轮检索方式，依赖于用户的初始文本输入，要求用户提供全面且详细的描述。近期，Levy等人引入了基于聊天的图像检索系统，利用大型语言模型作为提问者进行多轮对话，提高了检索效率和性能。然而，这种基于聊天的检索框架存在一些限制，如需要对模型进行微调以编码对话式文本，这一过程资源密集且难以扩展。此外，LLM提问者依赖于初始描述和对话历史，而无法查看图像候选者，可能导致生成关于目标图像不存在属性的问题。

3. 技术挑战

在交互式文本到图像检索的发展中，面临的主要技术挑战包括：

模型微调的资源消耗：为了使检索模型能够理解对话形式的文本，需要在视觉对话数据上进行微调，这一过程不仅资源密集，而且难以扩展到不同的模型和数据集。
生成问题的相关性和冗余性：LLM提问者在没有查看图像候选者的情况下，可能会生成与目标图像无关的问题，或者生成冗余的问题，这些问题不会为后续的检索提供有价值的信息。
评估指标的局限性：现有的评估指标如Recall@K和Hits@K在评估交互式检索系统时存在不足，未能充分考虑用户满意度、效率和排名提升的重要性。

4. 如何破局

针对上述技术挑战，本文提出了以下解决方案：

上下文重构（Context Reformulation）：通过LLMs将对话形式的上下文转换为与预训练视觉-语言模型训练数据分布更一致的格式（例如标题风格），从而无需对检索模型进行微调即可直接应用多种多模态检索模型。
基于上下文的对话生成（Context-aware Dialogue Generation）：将当前轮次的检索候选图像信息作为LLM提问者的文本输入，确保生成的问题与目标图像的属性相关。同时，通过过滤过程选择最相关、非重复的问题，减少冗余。
Best log Rank Integral（BRI）评估指标：提出了一个新的评估指标BRI，综合考虑用户满意度、效率和排名提升的重要性，提供了一个独立于特定排名K的全面评估。