这项由韩国科学技术院KAIST与韩国电子通信研究院ETRI联合开展的研究于2026年6月28日以预印本形式发布在arXiv平台编号为arXiv:2606.29464。感兴趣的读者可以通过该编号在arXiv上找到完整论文。现代AI系统里有一类非常有用的能力给AI看一张图片它能帮你找到匹配的文字说明反过来输入一段文字它也能帮你找到对应的图片。手机相册的智能搜索、电商平台的以图搜物背后都依赖这种图文理解能力。而训练出这种能力需要海量的图片加文字配对数据——有时候是数十亿对。然而问题出现了。这些海量数据带来的不只是计算开销还有隐私风险、版权纠纷、数据来源不透明等一系列头疼的问题。韩国科学技术院和韩国电子通信研究院的研究团队便在思考有没有办法用极少量的精华数据代替那庞大的原始数据集让AI照样能学好图文匹配这个思路叫做数据蒸馏——把大量数据提炼成少量高质量的合成样本就像把一大锅骨头汤熬成浓缩高汤块几块小小的汤块就能还原出整锅汤的精华。研究团队提出了一套名为RAHARank-Aware Hyperbolic Alignment秩感知双曲对齐的方法它的核心思想是在蒸馏这锅汤的时候不能简单地把所有成分等量浓缩而要分清楚哪些成分是精华、哪些是杂质有区别地保留。一、为什么之前的方法不够好要理解RAHA的价值先得弄清楚之前的方法卡在哪里。以往训练图文理解模型的数据蒸馏方法大致分三类。第一类叫轨迹匹配相当于录下老师在黑板上解题的每一步然后让合成数据也能重现这些步骤。这种方法效果不错但开销极大需要把教师模型的参数状态一帧帧保存下来像录制4K超长视频一样耗费存储空间。第二类叫生成式方法借助扩散模型类似Stable Diffusion这类图片生成AI直接创造图片和文字对灵活但对图文关系的控制力较弱。第三类叫分布统计匹配思路是让合成数据和真实数据在统计特征上尽量接近不需要保存教师轨迹效率更高其中以CovMatch为代表。但这三类方法有一个共同的局限它们在对齐图片和文字特征时对所有方向一视同仁平均用力。把这件事想得直观一点——一张小狗跑过草地的图片和它的说明文字两者真正在语义上共享的核心信息其实很集中有小狗、有草地、有奔跑的动作。而图片里还有很多额外的东西比如具体的光照条件、草的颜色深浅、相机焦距带来的背景虚化文字里也有很多图片里看不出来的隐含信息比如语气、用词风格。这些各自独有的部分并不需要强行对齐。强行把所有方向都对齐就像要求两个来自不同城市的朋友不仅共同爱好要一样就连口音、饮食习惯、童年记忆也必须完全一致——这既不现实还会把他们各自独特的个性给磨灭掉。在数据量极度压缩的情况下这种过度对齐会让合成数据把宝贵的容量浪费在对模型没帮助的方向上最终影响效果。此外图片和文字之间的语义关系天然具有层级结构。动物→哺乳动物→犬科→小狗→正在奔跑的金毛小狗这是一个从粗到细的概念嵌套结构。欧几里得空间也就是普通的数学坐标空间对于表达这种树状层级不太擅长就像用直尺去画圆弧——工具本身不太对路。RAHA正是针对这两个痛点而设计的。二、RAHA的两件法宝双曲空间与范围-残差分解RAHA的核心可以用拍立得相机的两个镜头来类比。第一个镜头负责捕捉图文之间真正共享的语义内容叫做范围对齐第二个镜头负责处理各自独有的部分叫做残差调控。在这两个镜头工作之前还需要先把拍摄场地换成更适合的环境——双曲空间。先说双曲空间是怎么回事。普通的欧氏空间可以理解为一张平展的桌面点与点之间的距离就是直线距离越往外走空间增长得越慢。双曲空间则像是一个向外急剧展开的喇叭形曲面越往边缘走空间膨胀得越快。这种特性使得双曲空间能在有限的直径内塞进非常丰富的层级结构——树状图在双曲空间里能被非常自然地表达而在平坦的欧氏空间里同样的树装进去就会被严重压缩变形。研究团队将图片和文字的特征向量从普通坐标空间提升到双曲空间里具体用的是洛伦兹双曲面模型可以理解为一种数学上精确定义的喇叭形曲面。在这个空间里越抽象、越泛化的概念比如动物会靠近曲面的中心位置越具体的概念比如正在草地上奔跑的金毛小狗会分布在距中心更远的位置。这与人类理解概念的方式非常吻合——我们天然知道动物包含小狗小狗包含金毛小狗。在双曲空间里两个点之间的距离不再是简单的直线距离而是沿着曲面走的测地线距离——就像地球表面两点之间的最短路径是弧线而不是穿地球的直线一样。RAHA用这种测地线距离替代了原来的点积相似度来衡量图片和文字特征有多接近。接下来是核心的范围-残差分解机制。研究团队在双曲空间的切线平面可以理解为曲面上某点处的局部平展近似上对真实数据批次的图文联合特征做了一次奇异值分解SVD。奇异值分解是线性代数里一个经典的工具它能把一个复杂的矩阵拆解成若干个方向并按重要程度从高到低排列——每个方向对应一个奇异值奇异值越大说明这个方向上图文之间的关联越强。研究团队设定了一个能量阈值默认取95%。这意味着找出最少数量的强相关方向使这些方向累积的关联强度达到总强度的95%这些方向构成范围子空间其余方向则归入残差子空间。范围子空间是图文真正共享语义的主要载体残差子空间则包含图片或文字各自独有的、相关性较弱的信息。确定了这个划分之后RAHA分别计算真实数据和合成数据在范围子空间和残差子空间里的相似度矩阵。每个矩阵的每一行都被转换成一个概率分布通过softmax描述这张图/这段文字相对于同批次中所有其他图/文字的相关程度排序。然后用最优传输里的Sinkhorn算法一种高效地计算两组分布之间最优匹配的方法让合成数据的相关性分布尽可能接近真实数据的相关性分布。简单来说这相当于告诉合成数据在最重要的那些共享语义方向上你必须跟真实数据的图文排名规律保持一致在其余弱相关方向上你只需要保持适度的多样性不要让无关的噪声占据主导地位就行。三、损失函数三块拼图合成一幅完整画面RAHA的训练目标由三个部分组成像三块形状不同的拼图各自负责一块区域合在一起才能还原出完整的图景。第一块是双曲对比损失hITC。这个损失函数只作用于合成数据本身不涉及真实数据。它的职责是确保合成的图片和文字配对能在双曲空间里形成正确的判别性排列——配对的图文应该在双曲空间里靠近彼此不配对的应该远离彼此。这相当于给合成数据建立最基础的图文应该匹配的能力。第二块是范围损失包含两个子项。一是范围匹配项通过Sinkhorn最优传输让合成数据在范围子空间里的行级相关分布尽量接近真实数据的对应分布。二是范围能量正则项确保合成数据在范围子空间里的耦合能量不低于真实数据——这是一个单侧惩罚只在合成数据耦合不够强时才触发不会惩罚耦合更强的情况。这个正则项防止合成数据的主要语义方向发生坍缩。第三块是残差损失同样包含两个子项。一是残差匹配项类似于范围匹配但作用于残差子空间帮助合成数据保留一定的图文细粒度结构使排名边界更清晰。二是残差压缩正则项这是RAHA的关键防护机制。它衡量合成数据有多少耦合能量流入了残差子空间如果残差能量超过了范围能量就会触发额外的惩罚。这防止合成数据过度优化那些弱相关方向把宝贵的容量浪费在噪声上。三块损失的权重默认设置为范围损失权重0.8残差损失权重0.4残差内的压缩权重0.1。这个配置反映了一个直觉范围子空间里的语义才是主角残差子空间是配角压缩残差只是防御性措施。四、训练流程在不断变化的阅卷老师下优化合成数据RAHA遵循一种在线蒸馏协议训练流程交替进行两个步骤。外循环步骤是合成数据更新从真实数据里随机取一批样本批量大小64同时从合成数据里取一个子批次通过编码器提取特征将合成数据特征提升到双曲空间计算双曲对比损失再把所有特征映射回切线平面计算真实数据的跨模态协方差矩阵进行奇异值分解确定有效秩k划分范围和残差子空间分别计算两个子空间的相似度矩阵通过Sinkhorn算法算出最优传输耦合进而得到范围损失和残差损失最后用梯度下降更新合成数据的像素值和文字嵌入向量。内循环步骤是模型更新用真实数据对检索模型本身训练一步让编码器的特征空间缓慢演变。这个设计很有意思——相当于让阅卷老师在每轮外循环之间悄悄改变一点评分标准迫使合成数据不能只讨好某一个特定的编码器状态而是要在多种编码器状态下都保持有效从而提升泛化能力。合成数据的初始化来自真实数据的随机采样图片直接用真实图片的像素初始化文字则用真实说明文字通过文本编码器的嵌入层不经过Transformer层初始化。整个蒸馏过程最多迭代200次每次外循环做50步内循环做1步。五、实验结果数据少了多少效果又如何研究团队在三个标准图文检索基准数据集上进行了评测Flickr8k训练集6000张图每图5条说明、Flickr30k训练集29000张图和MS COCO训练集约113000张图。合成数据的预算设定为100对、200对和500对三档这对于COCO来说分别相当于原训练集的不到0.1%、约0.17%和约0.44%——极度压缩。评价指标用的是双向检索召回率RecallKK取1、5、10分图片检索文字I→TTRK和文字检索图片T→IIRK两个方向取平均作为综合得分。在Flickr8k上RAHA在500对预算下以均值30.7超过了所有对比方法包括CovMatch的25.9和LoRS的25.0在100对和200对下也优于CovMatch分别20.4对20.4持平以及25.3对18.8的明显领先。在Flickr30k上RAHA在各预算下均超过CovMatch32.9对28.9、25.7对22.0、20.7对22.8其中100对略低但接近。在COCO上RAHA在200对和500对下明显领先CovMatch10.2对8.313.7对11.2100对下持平7.2对7.0。值得注意的是论文还专门指出了CovMatch原始论文发布结果与公开代码复现结果之间存在显著差距Flickr30k上CovMatch发布的500对均值为38.4但复现结果仅为28.9差距达9.5分。RAHA的对比是在可复现的协议下进行的更具参考价值。此外在更大规模的CC3M-595K-LLaVA数据集约59.5万图文对上的测试显示RAHA在500对预算下均值达8.1而CovMatch仅为5.1差距随预算增大而扩大印证了RAHA在来源更多样、更嘈杂的数据上也能有效工作。在1000对预算下RAHA在三个数据集上均优于CovMatch在Flickr8k上达到37.1CovMatch为30.6Flickr30k达38.0CovMatch为28.4COCO达18.6CovMatch为14.2。六、跨架构迁移与噪声鲁棒性合成数据的通用性考试数据蒸馏的一个核心价值在于用蒸馏好的合成数据能不能训练出在不同架构、不同编码器上都表现良好的模型毕竟如果合成数据只对某一款特定编码器有效实用价值就大打折扣了。研究团队设计了跨架构迁移实验用固定的源架构NFNet图像编码器 BERT文本编码器蒸馏合成数据然后换用不同的图像骨干NF-ResNet、NF-RegNet、ViT-B或不同的文本编码器DistilBERT在不改变合成数据的前提下重新训练检索模型并评测。结果显示在200对预算下RAHA的跨架构均值为8.7高于CovMatch的7.2在500对下RAHA达到12.7而CovMatch为8.7。这意味着RAHA蒸馏出的合成数据编码了更通用的图文关系结构而不是过度依赖特定的编码器几何形状。鲁棒性测试则考察合成数据训练出的模型在输入受到干扰时的稳定性。测试了三种干扰图片侧的JPEG压缩75%质量加4bit量化、高斯噪声标准差0.01和10步PGD对抗攻击文字侧同样施加类似干扰。在200对下RAHA的图像侧干扰均值为5.0高于CovMatch的4.2文字侧为4.5高于CovMatch的4.0。这表明范围-残差分解机制带来的结构性约束减少了合成数据中可被干扰利用的脆弱方向。七、消融实验拆开每块拼图看贡献为了搞清楚RAHA的各个组件各自贡献了多少研究团队在Flickr8k 100对设置下做了细致的消融实验。从只使用双曲对比损失出发均值约为18-19。加入范围匹配损失后均值出现明显提升说明范围子空间确实携带了真实数据里最重要的图文配对排名信息。单独使用残差匹配损失时提升相对有限这与直觉一致残差子空间里的信号较弱单独优化它难以锚定到正确的语义结构。当范围和残差损失都加入并配合各自的正则项时整体表现最佳说明两者有互补效果——范围损失建立主干残差损失在有了范围这个锚点之后才能有效地做细粒度调整。在几何消融实验中研究团队保持Sinkhorn相关性匹配管线不变只改变特征空间的几何。完全用欧氏空间的结果极差均值仅2.2说明在欧氏空间里做子空间分解效果很弱。换用欧氏对比损失但保留双曲空间里的相关性匹配混合几何版本后均值恢复到19.9。完全双曲版本进一步提升到20.4。这表明双曲几何的作用不只是锦上添花而是使子空间分解本身变得更有意义的必要条件。超参数敏感性分析显示范围损失权重在0.6到1.0之间性能稳定残差损失权重在0.2到0.6之间较为合适过大会让弱相关方向占据主导残差压缩权重较小0.1左右时效果最好过大会过度抑制残差多样性。能量阈值ρ0.95是最优选择ρ1.0不做范围-残差划分使用全子空间性能下降说明显式划分是必要的。较大的真实批量能稳定协方差估计从而带来更稳定的秩选择和更好的检索结果。八、视觉质量与语义一致性合成图片长什么样除了数字指标研究团队还对比了合成数据的视觉质量。CovMatch蒸馏出的图片往往保留了全局布局但有明显的高频噪声——棋盘格状的斑点、条纹像是经历了过度JPEG压缩又叠加了随机颗粒。这是因为CovMatch的全局二阶统计匹配机制有一个漏洞结构化的高频噪声也可以在统计意义上满足协方差约束而不需要真正产生视觉上合理的纹理。RAHA蒸馏出的图片纹理更清晰边缘更自然。这与RAHA的机制一致范围-残差分解明确了哪些方向需要匹配真实数据的排名结构压缩了那些可以被噪声随意填充的自由度使得梯度更有目的性地改变像素而不是在无关方向上随机游走。在图文语义一致性上CovMatch偶尔出现说明文字与图片内容错位的情况比如图片变成了户外场景但说明仍然描述室内活动RAHA的图文对通常保持了初始化时的语义一致性并在此基础上做了细化。在提示式分类任务用CLIP风格的文字提示做零样本图像分类上RAHA在100对预算下在CIFAR-100上比CovMatch高1.05个百分点在CUB-200-2011细粒度鸟类上高1.90个百分点在Stanford Cars上高2.17个百分点在ImageNet-1K上高0.26个百分点。细粒度基准上的提升最为明显符合双曲几何对层级概念结构友好的特点。九、计算开销与实际使用考量RAHA的主要额外开销来自三个地方将特征提升到双曲空间并映射回切线平面按批量大小线性增长在d×dd2304的协方差矩阵上做奇异值分解计算量约为d的三次方级别以及在合成批量×真实批量大小的代价矩阵上做Sinkhorn迭代默认20次迭代。实测下来在RTX A6000 GPU上批量大小为64时RAHA每次合成更新步约需7.42秒CovMatch约需0.78秒每轮迭代50步外循环约400秒对55秒。一次完整的蒸馏运行200轮迭代约需1.3 GPU小时而CovMatch约需0.14 GPU小时。峰值显存两者相同约9.3GB。虽然RAHA比CovMatch慢了约7倍但有几点值得考量。首先蒸馏是一次性离线成本蒸馏好的合成数据可以反复用于下游训练、架构搜索和消融实验平均到每次下游实验的成本可忽略不计。其次与轨迹匹配类方法相比RAHA不需要存储教师模型的参数快照一个有约9000万参数的模型如果要保存50个检查点就需要约18GB存储空间RAHA完全没有这个负担。额外的计算开销本质上来自子空间分解和排列不变匹配这两个核心算法贡献而不是双曲几何本身的提升代价——这些瓶颈都可以通过截断SVD、随机化SVD、缓存基向量更新、低秩Sinkhorn近似等工程优化手段进一步降低。说到底RAHA做了一件看起来很简单、实际上颇为精妙的事情它不试图把真实数据的所有统计特性都塞进小小的合成集而是先搞清楚图片和文字之间真正需要一致的是哪些方向然后只在这些方向上严格对齐在其余方向上给合成数据留有余地。这就像一个厨师蒸馏一锅汤时知道这道汤的精华是鲜味和香气所以专门把这两样东西浓缩到极致而不是把包括水分在内的一切成分都等比例缩小。这种选择性浓缩的策略在预算充足时表现最为突出。当合成数据只有100对时合成集的容量本身限制了它能承载的语义模式数量当预算增加到500对乃至1000对时RAHA的结构性优势越来越明显超越其他方法的幅度也越来越大。这个趋势给了我们一个有用的经验法则如果预算极端有限CovMatch之类直接匹配统计量的方法简单高效一旦预算稍微宽松RAHA的几何感知分解就能发挥出更大的价值。RAHA也有其局限性。它的表现仍然依赖于蒸馏时使用的编码器如果数据集里的语义结构不具备明显的层级性比如说明文字非常随机、多义双曲几何的归纳偏置就帮不上多少忙。此外RAHA没有内置任何偏见检测或去除机制——如果真实数据里存在刻板印象比如某类视觉属性和某类文字描述总是错误地关联在一起这些关联如果恰好落在强相关的范围子空间里就会被完整地保留下来。这是数据蒸馏领域普遍存在的问题需要额外的公平性审计工具来应对。如果你对这项研究的技术细节感兴趣可以在arXiv上以编号arXiv:2606.29464查阅完整论文里面有完整的数学推导、超参数设置、更多实验结果和详细的消融分析。QAQ1RAHA方法和普通的图文匹配数据蒸馏有什么本质区别ARAHA的核心区别在于它不是对所有特征方向一视同仁地压缩而是先找出图片和文字之间真正强相关的共享语义方向范围子空间在这些方向上严格匹配真实数据的排名结构同时对弱相关方向残差子空间施加压缩约束防止噪声占据合成数据的容量。同时它把特征提升到双曲空间处理更适合捕捉概念的层级结构。Q2数据蒸馏出的合成图片和真实图片看起来一样吗A不完全一样。合成图片是从真实图片初始化经过梯度优化不断调整像素保留了大致的视觉内容但会有轻微的纹理变化。RAHA蒸馏出的图片相比其他方法噪声更少、纹理更自然但仍是优化后的合成物而非原始照片。合成文字则完全是在嵌入空间里优化的连续向量并不对应真实的词语序列。Q3RAHA蒸馏出的数据能用于训练不同类型的AI模型吗A能而且这正是RAHA的一个亮点。实验显示用RAHA蒸馏的数据训练出来的模型换用不同的图像骨干如ViT-B替代NFNet或不同的文本编码器如DistilBERT替代BERT后性能下降比CovMatch更小说明RAHA保留的是更通用的图文关系结构而不是与特定编码器绑定的统计特性。