医生在诊断和治疗过程中依赖于人体解剖图像，如磁共振成像（MRI），难以全面捕捉人体组织的复杂性，例如组织之间的空间关系、质地、大小等。然而，实时感知有关患者解剖结构和疾病的多模态信息对于医疗程序的成功和患者结果至关重要。本文介绍一个多模态医学图像交互（MMII）框架，允许医学专家在三维空间中与人体组织进行动态的视听交互。在虚拟现实环境中，用户接收到基于物理信息的视听反馈，以提高对解剖结构的空间感知。MMII使用基于模型的声音化方法，从组织的几何和物理属性生成声音，从而消除了手工制作声音设计的需要。
1 多模态MMII 框架
MMII 框架旨在通过多模态交互方式，帮助医疗专家更好地理解和感知人体解剖结构。该框架利用物理建模合成技术，将组织的物理属性和几何形状转换为音频信号，并与可视化模型相结合，为用户提供动态的音频视觉反馈。
1.1 框架结构
MMII 框架包含以下几个关键模块：
- 可视化模型：该模型将医学图像数据转换为 3D 模型，并通过缩放、颜色变化等方式提供视觉反馈。
- 交互模块：该模块负责接收用户输入，并根据用户与模型的交互方式生成音频视觉反馈。
- 声学模型：该模型根据组织的物理属性和几何形状生成声学模型，并通过物理建模合成技术生成音频信号。
1.2 工作原理
- 用户通过交互模块与 3D 模型进行交互，例如点击或触摸模型。
- 交互模块将用户输入发送给声学模型，并触发声学模型的计算。
- 声学模型根据组织的物理属性和几何形状生成音频信号，并通过物理建模合成技术生成声音。
- 可视化模型根据用户输入和声学模型的输出提供视觉反馈，例如缩放、颜色变化等。
- 用户通过音频和视觉反馈，更好地感知和理解人体解剖结构。
1.3 框架优势
- 多模态交互：MMII 框架利用音频和视觉两种模态，为用户提供更丰富的信息，并帮助用户更好地理解和感知人体解剖结构。
- 物理信息：MMII 框架基于组织的物理属性和几何形状生成音频信号，使声音更具有真实感和直观性。
- 动态反馈：MMII 框架可以实时生成音频视觉反馈，帮助用户动态地感知和理解人体解剖结构的变化。
- 易于学习和理解：MMII 框架的用户研究结果表明，用户可以快速学习和理解解剖结构的音频视觉对应关系。
1.4 应用场景
MMII 框架可以应用于多种医学场景，例如：
- 手术导航：MMII 框架可以帮助医生在手术过程中更好地定位和识别解剖结构，从而提高手术精度和安全性。
- 放射治疗计划：MMII 框架可以帮助医生更好地理解肿瘤的位置和形状，从而制定更精准的放射治疗方案。
- 医学教育：MMII 框架可以帮助医学生更好地理解和学习人体解剖结构。
1.5 未来展望
- 更多解剖结构：未来研究可以将 MMII 框架应用于更多人体解剖结构，例如心脏、肺部等。
- 更精细的物理模型：未来研究可以进一步改进物理模型，使其更精细、更准确。
- 更复杂的交互方式：未来研究可以探索更复杂的交互方式，例如手势识别、语音识别等。
- 与生理数据结合：未来研究可以将 MMII 框架与生理数据结合，例如心电图、血压等，为用户提供更全面的医学信息。
2 实验
2.1 实验1：多模态对应关系学习
- 研究目的：评估用户学习将视觉解剖结构表示与其听觉提示关联的能力。
- 实验方法：进行了一项在线问卷调查，参与者通过视频和声音片段模拟 MMII 交互。
- 实验参与者：34 名志愿者，包括具有医学和非医学背景的人。
- 实验结果：
用户能够有效地将视觉和听觉表示的解剖结构进行关联，正确率显著提高（p < 0.001）。
物理建模合成是创建解剖结构的可区分听觉表示的合适方法。
与视觉反馈相比，参与者在使用听觉反馈时感知到的任务负荷更低，表现更好，但认知负荷更高。
2.2 实验2：多模态脑肿瘤定位
- 研究目的：评估 MMII 在脑肿瘤定位等医学任务中的可用性和准确性。
- 实验方法：开发了一个 VR 应用程序，让神经外科医生和神经放射科医生使用常规视觉交互和 MMII 进行脑肿瘤定位。
- 实验参与者：9 名医学专家，包括神经外科医生和神经放射科医生。
- 实验结果：
与视觉反馈相比，使用 MMII 的脑肿瘤定位精度显著提高（p < 0.05）。
任务负荷没有显著差异，使用多模态交互时任务时间略有增加。
参与者普遍认为 MMII 有助于更好地感知距离，并偏好使用听觉反馈。
2.3 实验结果
- 学习效果：两个实验都表明，用户可以有效地学习将视觉和听觉表示的解剖结构进行关联。
- 听觉反馈的优势：听觉反馈可以提供关于解剖结构的几何形状、纹理和大小等详细信息，有助于更好地感知距离和空间关系。
- 任务负荷：使用 MMII 可以降低任务负荷，提高任务表现，但可能需要更高的认知负荷。
- 准确性：使用 MMII 可以提高医学任务的准确性，例如脑肿瘤定位。
- 适用性：MMII 可以应用于各种医学任务，并有望提高手术精度和患者预后。