CARPRT：面向黑盒视觉语言模型的类别感知零样本提示权重重分配方法
预训练的视觉语言模型（VLM）通过计算图像与文本描述之间的相似度分数来实现零样本图像分类。通常，文本描述由将类别标签（如“猫”）插入提示模板（如“一张…的照片”）构成。由于同一图像-类别对的分数对提示选择高度敏感，现有研究通常使用权重向量集成多个提示，以聚合不同提示下的分数。然而，当前策略中分配给每个提示的权重向量对所有类别是共享的，这隐含假设提示与类别条件独立——这在实践中往往不成立，例如提示“从空中俯瞰”可能适合“机场”却不适合“苹果”。
针对这一问题，来自东京大学、悉尼大学等机构的研究者提出了类别感知零样本提示权重重分配（CARPRT）。该评分方案通过以无需训练的方式捕捉不同提示的类别特定相关性，为每个类别标签调整权重向量。具体而言，对于每个类别标签和每个可用提示，CARPRT 首先计算该提示下被预测为该类别的图像与提示之间的图像-文本相关性分数，并取平均值作为该类别的相关性估计；随后对这些估计值进行归一化，得到类别特定的权重。
在标准图像分类基准上的评估表明，CARPRT 显著优于现有的类别无关权重重分配方法，验证了建模提示-类别依赖关系对于有效零样本预测以及更广泛的依赖提示集成的 VLM 应用场景至关重要。该工作已被 ICLR 2026 接收，代码已开源。
方法核心：为什么类别感知权重是必要的？
传统集成方法使用统一的权重向量，例如为 80 个提示分配相同的权重，或通过学习一个全局权重向量。但不同提示对不同类别的适用性差异巨大。例如：
- 提示“一张…的特写”对“花”有效，但对“建筑物”可能不佳。
- 提示“一张…的素描”对“铅笔素描”相关类别有效，但对“汽车”可能产生噪声。
CARPRT 的核心洞察在于：提示与类别之间存在固有的相关性结构，忽略这一结构会限制集成带来的收益。通过为每个类别独立计算提示权重，CARPRT 能够自动突出对该类别判别性强的提示，抑制无关提示的干扰。
无需额外训练，即插即用
CARPRT 的一大优势是完全无需训练。它仅利用已有模型在少量无标签图像上的预测结果来估计类别-提示相关性。具体流程为：
- 对于每个提示，使用当前 VLM 对所有图像进行零样本预测，得到每个图像最可能的类别。
- 对于每个类别，收集被预测为该类别的图像，计算它们与该提示的平均相似度。
- 对所有提示的该平均值进行 softmax 归一化，得到该类别的权重向量。
这种方法几乎不增加计算开销，且可以直接应用于任何黑盒 VLM（只需能获取相似度分数）。
实验表现：全面超越基线
在多个标准基准（如 ImageNet、CUB-200、Stanford Cars 等）上，CARPRT 与以下方法对比：
- 均匀权重：所有提示权重相同。
- 学习型全局权重：通过少量验证集学习一个共享权重向量。
- 无提示集成：仅使用单个提示。
结果显示，CARPRT 在所有数据集上均取得最高准确率，尤其在细粒度分类任务上提升显著。例如，在 CUB-200 上，CARPRT 比均匀权重提升约 3.5 个百分点，比学习型全局权重提升约 2.1 个百分点。这表明类别感知权重能够更有效地利用多提示信息，尤其是在类别间差异细微的场景中。
影响与展望
CARPRT 的提出为 VLM 的零样本应用提供了新思路。它不仅适用于图像分类，还可推广至目标检测、分割等依赖提示集成的任务。此外，由于 CARPRT 不修改模型参数，它天然适用于黑盒场景，例如通过 API 调用商用 VLM 时，用户无法访问模型内部，但可以通过调整输入提示权重来提升性能。
未来方向可能包括：将类别感知权重与动态提示选择结合，或扩展到多模态上下文学习。CARPRT 的简洁性和有效性使其成为 VLM 应用中的一个实用工具。