新上线今天0 投票
Tactus：利用低成本压力阵列实现开放词汇物体识别
从触觉到语言：Tactus 让压力阵列听懂物体描述
触觉感知是机器人技术中的一大挑战，而电阻式压力阵列因其成本低廉、普及率高，成为最广泛使用的触觉传感器。然而，现有的触觉表示学习大多聚焦于光学传感器，这类传感器通过成像形变凝胶来捕捉触觉信息，成本较高。
Tactus 模型的提出改变了这一局面。它是一款开放模型，能够仅从压力数据中回答文本查询，实现开放词汇的物体识别。在 STAG 基准（包含 27 个物体、留出录音）上，Tactus 在四次运行中达到了 0.771 ± 0.062 的 top-1 准确率（top-3 为 0.935），与数据集中监督式闭集 CNN 的 0.76 相当，甚至在某些情况下更优，且无需训练分类头。
小数据，巧方法
Tactus 的成功并非依赖海量数据，而是巧妙的训练策略：仅用 187 条训练录音，通过掩码自编码器在 144k 无标签的同类传感器帧上进行预训练，并利用传感器自身的校准仿射变换。令人惊讶的是，后者带来的精度提升超过了所有架构调整的总和。
错误分析与局限
模型在少数接触模糊的类别上存在错误，但这些错误与文本目标的几何特征无关（在 702 个类别对上 Spearman 相关系数 ≤ 0.05），且对改写或仅用名称的查询具有鲁棒性。此外，仅两帧不同帧就能恢复八帧准确率的 89%。
研究团队同样毫不避讳地报告了失败案例：跨传感器预训练池化无增益，视觉协同训练反而损害了触觉性能，而一个归一化错误的输入管道曾静默丢弃了传感器 97% 的动态范围，却产生了看似合理的结果。
开放与可复现
Tactus 的权重、代码以及模型可接入的存储层均已开源，为触觉感知研究提供了宝贵的基础。这项工作表明，低成本压力阵列在开放词汇识别方面潜力巨大，也为机器人触觉与语言模型的结合开辟了新路径。