TouchDream
TouchDream: 3D Completion through Imagined Touch（CVPR 2026）— 条件扩散模型"想象"触觉信号，以局部触觉先验引导三维补全。跨模态引导新范式。
Overview
- 发布时间：CVPR 2026
- 关键词：触觉引导 · 跨模态 · 条件扩散 · 局部几何精化
- 核心问题：纯视觉输入在精细局部几何恢复上存在歧义（如光滑曲面 vs 细微纹理）。触觉信号提供局部几何先验，但实际触觉数据难以获取。
架构
条件扩散模型
- 以部分点云和"想象"的触觉信号为条件，去噪生成完整形状
球面采样位姿（Spherical Sampling Poses）
- 在物体周围球面上均匀采样候选触觉探针位姿
- 为触觉信号的"想象"提供多样化的接触角度
触觉隐空间编解码（Tactile Latent Encoder-Decoder）
- 触觉编码器：将触觉信号映射到隐空间
- 触觉解码器：从隐空间重建触觉信号
- 训练过程中学习触觉信号与几何结构的对应关系
触觉引导精化交叉注意力（Touch-Guided Refinement Cross-Attention）
- 在扩散 denoising 过程中，通过交叉注意力将触觉隐特征注入几何特征
- 触觉信号提供局部几何精化的细粒度引导
关键创新
- 触觉"想象"：训练扩散模型在不实际接触物体的前提下"想象"触觉信号
- 跨模态引导补全：触觉→几何，完全新颖的信息通路
- 交叉注意力融合：在扩散 backbone 中融合触觉与几何特征
Related
- point-cloud-completion — 点云补全总览
- diffusion-model-3d — 三维扩散模型架构
- diffcomplete — 条件扩散补全
Sources
- TouchDream, CVPR 2026