股神配资 RAG、Search Agent不香了? 苹果DeepMMSearch-R1杀入多模态搜索新战场

机器之心报道股神配资

苹果最近真是「高产」！

这几天，苹果在多模态web搜索中发现了赋能多模态大语言模型（MLLM）的新解法。

在现实世界的应用中，MLLM需要访问外部知识源，并对动态变化的现实世界信息进行实时响应，从而解决信息检索和知识密集型的用户查询。当前的一些方法，比如检索增强生成（RAG）、searchagent以及配备搜索功能的多模态大模型，往往存在流程僵化、搜索调用过多以及搜索查询构造不当等问题，导致效率低下以及结果不理想。

为了克服以往研究中暴露出的局限，苹果提出了DeepMMSearch-R1模型。该模型能够按需执行多轮网络搜索，并可针对文本与图像搜索工具动态生成查询，如图1（右）所示。具体而言，DeepMMSearch-R1能够通过自我反思与自我纠正，在多轮交互中自适应地生成和优化文本搜索查询，并利用检索到的内容作为反馈以及结合原始问题进行改进。

为了提升图像搜索的效果，苹果引入一个中间图像裁剪工具（GroundingDINO）来应对背景噪声和干扰性视觉实体带来的挑战。过程中，DeepMMSearch-R1首先生成与问题最相关视觉实体的指代表达，然后利用该表达由裁剪工具动态识别并裁剪出图像中对应的区域。生成的裁剪图像随后被用于图像搜索，以检索与上下文更相关的结果。这种有针对性的搜索方式显著提升了检索质量，并大幅提高了整体性能。

苹果采用两阶段训练流程：首先进行有监督微调（SFT），然后通过GRPO算法进行在线强化学习（RL）。其目标是让模型学会何时发起搜索、使用哪种工具、搜索什么内容，以及如何基于检索到的内容进行推理，以决定下一步行动：是直接给出最终答案，还是进一步优化查询并发起新一轮搜索。

本文主要包括以下三个方面的贡献：

一是提出新的数据集DeepMMSearchVQA。该数据集包含多样化多跳视觉问答样本，并以多轮对话的形式呈现。它在不同知识类别之间保持平衡分布，涵盖了既需要搜索又无需搜索的问题类型。

二是构建真实世界的多模态搜索流程，并整合了三种工具：（1）文本搜索工具，使模型能够发出有针对性的查询，从而检索相关网页并获取最新的事实性知识；（2）基于GroundingDINO的图像定位工具，可根据模型生成的与问题视觉实体相关的指代表达，识别并裁剪输入图像中的相关区域；（3）图像搜索工具，可基于输入图像（无论是裁剪图还是完整图）检索网页内容，包括标题与描述，帮助模型通过网络信息识别不熟悉的视觉实体。

三是通过两阶段训练过程实现了SOTA性能，超越以往的开源基线模型（见图1）。该训练过程包括使用SFT进行冷启动初始化，随后采用GRPO算法进行在线强化学习。

股神配资

论文标题：DeepMMSearch-R1:EmpoweringMultimodalLLMsinMultimodalWebSearch

针对苹果的最新研究，有人认为「这可能是苹果迈向AI原生LLM和多模态搜索引擎的第一步」。

数据集DeepMMSearchVQA

苹果在数据集构建过程中遵循两个核心原则：（1）数据集应具备多样性，并覆盖完整的知识分类体系；（2）问题应同时包含无需搜索与需要搜索的类型，并以多轮对话的形式呈现，以促进模型的推理、自我反思与自我纠正。图2（上）展示了用于数据集构建的自动化流程概览。

苹果从InfoSeek训练集随机选取了20万个样本，并生成带有工具标签、推理步骤及网页检索信息的多轮对话数据。为确保质量，苹果仅保留其中Gemini-2.5-Pro的预测结果与InfoSeek提供的真实答案一致的对话，从而得到约4.7万条精炼对话样本。

随后使用Gemini-2.5-Pro据知识分类体系对问题进行分类，并从这些类别中采样1万个视觉问答（VQA）样本，以在不同知识类型之间实现大致平衡的分布。同时进一步确保数据集中搜索类与非搜索类问题的数量大致相等。

图2（下）展示了知识分类体系、需要图像搜索、文本搜索或两者兼用的问题比例，以及不同轮次对话样本的分布情况。最终得到的1万个VQA样本构成了有监督微调阶段的训练语料。

DeepMMSearch-R1两阶段训练流程

有监督微调阶段

苹果采用Qwen2.5-VL-7B-Instruct作为基础模型，并仅对其语言模型（LLM）模块进行有监督微调，同时保持视觉编码器和视觉投影层冻结不变。此方法能够保留强大的预训练图像表征能力，并确保模型的适应过程专注于提升语言模型在网页检索信息上的推理能力股神配资，以及遵循结构化工具使用流程的能力。

训练目标方面，苹果采用标准的因果语言建模（CausalLM）目标函数。给定一个多模态输入(x,I)，其中包括文本问题和对应图像、以及包含完整推理过程、工具调用和最终答案的多轮对话y*，训练中的模型在给定所有前文token的条件下预测目标序列中的每一个token。

强化学习阶段

RL阶段基于组相对策略优化（Group-RelativePolicyOptimization，GRPO），该方法最初在DeepSeekMath中被提出。GRPO在近端策略优化（ProximalPolicyOptimization，PPO）的基础上进行了扩展，通过对同一提示词下生成的候选回复进行比较，从而提升训练的稳定性。

不同于独立评估每个rollout（展开过程或推理轨迹）的方式，GRPO计算的是相对于同一组采样rollout的平均奖励的优势值。

该阶段的训练目标通过带截断的重要性加权代理进行优化，这虽与PPO类似，但引入了组相对优势的概念。其数学形式可表示为：

Rollouts：它们由经过SFT后的模型检查点生成。SFT模型使用已学习的工具调用标签体系，以与图像定位工具、图像搜索工具和文本搜索工具进行交互，并将这些工具返回的反馈融入后续对话轮次中。该过程会持续进行，直到模型生成最终回答或达到最大轮次数为止。

因此，每个rollout都代表一条完整的推理轨迹，并附带在SFT阶段学习到的标签体系。在训练过程中，苹果对每条轨迹的工具调用次数和最大token长度进行了约束，要求模型在准确性与效率之间取得平衡。

奖励机制：GRPO优化过程采用一个结合了事实准确性与结构合规性的复合奖励函数。苹果使用gpt-5-chat-latest作为奖励模型，用于判断模型预测结果在语义上是否与真实答案一致。正确性得分记为s，取值为二元变量（s∈{0,1}），表示模型最终答案是否被判定为正确。同时，格式得分s_fmt用于衡量输出是否遵循规定的结构化输出格式，以确保标签使用正确、工具调用结构有效。最终奖励的计算公式为：

实验结果

苹果表示，配备网络搜索功能的多模态大语言模型在性能上显著优于RAG工作流和基于提示的搜索代理基线模型。如表1所示，DeepMMSearch-R1-7B（RL）相较于RAG工作流和基于提示的searchagent分别取得了显著的+21.13%和+8.89%的性能提升，同时在整体表现上与OpenAIo3相当。

裁剪图像搜索以及蒸馏得到的自我反思与自我纠正能力可以显著提升模型性能。苹果在图3（左）中展示了启用多次文本搜索与裁剪图像搜索能力所带来的效果。SFT基线模型指的是仅使用整图搜索并进行单次文本搜索调用的设置。可以看到，随着自我反思与自我纠正机制的引入与蒸馏，模型整体性能得到了提升。

在搜索平衡的SFT数据中（即从所有知识分类中均匀采样样本的情况），模型表现更优。苹果首先在SFT数据中通过不同的「需要搜索」与「无需搜索」样本比例进行消融实验，以研究其对性能的影响。从图3（右）可以观察到，当需要搜索的问题比例较高时，微调后的模型会表现出过度搜索的行为，并在OK-VQA和A-OKVQA等需要较少搜索调用的数据集上表现较差。