Not-So-Optimal Transport Flow
Not-So-Optimal Transport Flows for 3D Point Cloud Generation(ICLR 2025)— 分析并改进 OT flow matching 在 3D 点云生成中的可扩展性,提出离线 superset OT 预计算 + 混合耦合策略。
Overview
- 发布时间:ICLR 2025
- 作者机构:CUHK + NVIDIA
- 代码/项目:research.nvidia.com/labs/genair/not-so-ot-flow
- 核心问题:现有 OT flow 方法在点云(N=2048+)上扩展性差,且 OT 耦合导致模型在 t=0 附近过于复杂
现有 OT 方案的局限
Minibatch OT
- 需要搜索 N! 种排列,batch-level OT 只减少约 6% 的传输成本
- 无法扩展到需要置换不变性的点云
Equivariant OT
- 能显著降低 OT 距离,但计算复杂度 $O(B^2 N^3)$
- B=1, N=2048 时每次 OT 计算需 2.2 秒,比独立耦合慢 40 倍
方法
1. 离线 Superset OT 预计算
- 预采样稠密点 superset $X_1 \in \mathbb{R}^{M \times 3}$(M=100K)和噪声 superset $X_0$
- M < 10K:用 Hungarian 精确求解
- M > 10K:用 Wasserstein gradient flow 近似求解(GPU,~30秒)
- 训练时随机子采样 subsample 获取训练对
2. Hybrid Coupling(混合耦合)
- 对 OT 耦合的噪声样本注入小噪声:$x'_0 = \sqrt{1-\beta} x_0 + \sqrt{\beta} \epsilon$
- β=0.2 时最优:平衡轨迹平直度与模型复杂度
- 关键发现:非最优 OT(不是越优越好)反而生成质量更高
关键贡献
- 指出 OT flow 训练中被忽视的问题:平直轨迹使 t=0 处的向量场 Lipchitz 过高
- Hybrid coupling 使模型更易学习,同时保持相对平直的轨迹
- 5 步推理即可完成合理 shape completion(其他方法需 50 步)
性能
- 无条件生成:100 步时与其他方法持平,10-20 步时显著优于
- Shape completion:5 步得到合理结果
Related
- diffusion-model-3d — 流匹配是扩散模型的替代范式
- point-cloud-completion — 形状补全任务
- DiT-3D — 对比的扩散方法
Sources
- Not-So-OT Flow PDF (37M) — ICLR 2025