OralGPT-Omni
OralGPT-Omni: Dental Multimodal LLM（CVPR 2026）— 首个牙科专用多模态大语言模型。
Overview
- 发布时间：CVPR 2026
- 关键词：牙科 MLLM · 临床推理链 · 多阶段训练 · GRPO
- 核心问题：通用 MLLM（如 GPT-5）在牙科专业任务上表现不佳，缺乏领域知识和推理能力。
架构
TRACE-CoT（五步临床推理链）
- 结构化牙科临床推理流程：
1. T - Tooth identification（牙齿定位）
2. R - Region analysis（区域分析）
3. A - Abnormality detection（异常检测）
4. C - Clinical assessment（临床评估）
5. E - Explanation（解释生成） - 确保推理过程可解释、可追溯
四阶段训练
- DKI（Dental Knowledge Injection）：牙科知识注入
- DCA（Dental Cross-modal Alignment）：牙科跨模态对齐（X光、CT、口内照片、3D 扫描）
- SFT（Supervised Fine-Tuning）：监督微调
- GRPO（Group Relative Policy Optimization）：组相对策略优化强化学习
性能
| 指标 | OralGPT-Omni | GPT-5 | 对比 |
|---|---|---|---|
| MMOral-Uni 总分 | 51.84 | 15.42 | +236% |
- MMOral-Uni 基准上以 51.84 分大幅领先 GPT-5 的 15.42
- 首个为牙科场景从头设计的 MLLM
关键创新
- 首个牙科专用 MLLM：非通用模型的简单微调
- TRACE-CoT：结构化的牙科临床推理链
- 四阶段训练：知识注入 → 对齐 → 微调 → 强化学习
Related
- oralgpt-plus — OralGPT-Plus 牙科 Agent VLM（RL + 工具调用）
- pmtseg — PMTSeg 照片引导牙齿分割
- taligndiff — TAlignDiff 自动排牙
Sources
- OralGPT-Omni, CVPR 2026