OmniSearch：阿里巴巴通义推出的多模态检索增强生成框架

OmniSearch：阿里巴巴通义推出的多模态检索增强生成框架

阿里巴巴通义实验室近日推出了一款名为OmniSearch的多模态检索增强生成框架，该框架具备自适应规划能力，能够动态拆解复杂问题并根据检索结果和问题情境调整检索策略，模拟人类在解决复杂问题时的行为方式，从而提升检索效率和准确性。

OmniSearch的核心创新在于其自适应检索规划能力。它能够根据问题解决的阶段和当前检索内容实时规划每个检索动作，模拟人类在解决复杂问题时的行为方式。这种动态的检索规划不仅提升了检索的效率和准确性，还使得OmniSearch在处理多模态信息时更加灵活和高效。

如何运行OmniSearch

安装依赖

首先，需要安装所需的依赖项：

pip install -r requirements.txt

配置API密钥

在运行OmniSearch之前，需要替换main.py中的OPENAI API密钥和search_api.py中的Google Search API密钥：

# main.py
GPT_API_KEY = "your_actual_key_here"
headers = {
    "Authorization": f"Bearer {GPT_API_KEY}"
}
# search_api.py
API_KEY = "your api-key"

运行主程序

运行main.py文件：

python main.py --test_dataset 'path/to/dataset.jsonl' --dataset_name NAME --meta_save_path 'path/to/results'

输出结果将保存到指定路径。

评估

使用以下命令评估输出答案的token F1-Recall：

python evaluate.py --evaluate_file_path [path to output jsonl file] --lang [language of the QA dataset: en/zh]

资源

OmniSearch提供了GitHub仓库和在线体验Demo，方便用户深入了解和使用。具体资源链接可以在相关技术社区或官方渠道获取。