摘要：随着教育信息化进程的加速,传统虚拟仿真实验教学平台在交互性、数据处理及智能化方面的局限性日益凸显。基于此,本文深入探讨了基于多模态数据融合算法的高校虚拟仿真实验教学平台的开发。通过整合视觉、听觉、触觉及操作行为等多源异构数据,创新设计了三级多模态融合架构,开发了基于注意力机制的行为意图识别模型,构建了虚实联动的动态评价指标体系。经实验验证,该平台在提升学生操作沉浸感与知识掌握效率上成效显著,为高校实验教学的数字化转型与质量提升提供了切实可行的解决方案与理论支撑。

　　关键词：多模态数据融合；虚拟仿真；实验教学；认知计算；教育信息化

　　0引言

　　在教育变革、科技发展及教育部“虚拟仿真实验教学2.0”建设要求的推动下,高校实验教学机遇与挑战并存。虚拟仿真实验突破了传统实验限制,在混合式教学中发挥了关键作用,人工智能与多模态数据融合更为教育带来了新契机,对其进行研究意义重大。但当前高校虚拟仿真实验教学系统存在短板。交互上,单模态交互限制了学生认知；性能方面,实验反馈延迟高,且系统对学生学习情况分析不足,难以因材施教。为此,本文展开创新研究,提出了三级多模态融合架构,实现数据采集、处理与智能决策；开发了基于注意力机制的行为意图识别模型,精准分析学生信息；构建了虚实联动的动态评价指标体系,多维度评估学习情况,为教学改进提供依据,提升教学质量。

　　1多模态数据融合算法设计

　　1.1数据采集层

　　数据采集层是整个多模态数据融合系统的基础,负责从多个渠道收集不同类型的数据。具体的数据采集情况如表1所示。

　　AzureKinect是一款功能强大的深度相机,能够同时捕捉彩色图像、深度图像以及人体骨骼信息。对这些信息进行分析,可以准确识别学生的手势动作和表情变化,为实验交互提供丰富的视觉信息。阵列麦克风具有高灵敏度和定向拾音功能,能够清晰采集学生的语音指令,同时有效过滤环境噪音,确保语音数据的准确性。HapticGlove触觉手套内置多种传感器,能够实时感知学生手部施加的力的大小、方向等信息,并将力反馈传递给学生,使学生在虚拟实验中获得真实的触觉体验。实验组件API则通过记录学生在实验过程中的各种操作行为,如点击、拖拽、输入参数等,形成详细的操作日志,为后续的行为分析提供数据支持。

　　1.2特征融合算法

　　在数据采集完成后,为提取更具价值的特征信息,需对多源异构数据进行特征融合,主要通过三个关键步骤实现。首先,采用基于动态时间规整（DTW）的方法实现多源数据时空对齐。由于不同模态数据采样频率和时间戳存在差异,直接融合会造成信息混乱。DTW算法运用动态规划,寻找不同时间序列数据间的最优对齐路径,确保多源数据在时空上一致,为后续融合筑牢基础。其次,利用Transformer进行特征级融合。作为基于注意力机制的深度学习模型,Transformer无需依赖RNN或CNN,就能高效处理长序列数据。在多模态数据融合时,它可自动学习各模态数据关联,将多模态数据转化为统一特征表示。多头注意力机制使其能多维度分析数据,提取更全面准确的特征。

　　1.3认知决策模型

　　认知决策模型作为智能教学的核心,基于多模态数据对学生实验操作进行预测、指导与评估。在预测环节,采用LSTM+Attention机制,LSTM作为特殊的循环神经网络,克服了传统RNN处理长序列数据时梯度消失、爆炸的弊端,能学习操作序列的长期依赖关系；Attention机制则聚焦关键步骤,提升预测准确性,以此根据学生操作行为预判下一步动作,为智能导学提供支撑。

　　在个性化指导方面,运用多智能体强化学习（MARL）,将学生与教学系统视作智能体,各智能体通过与环境交互,依奖励机制学习最优策略。教学系统智能体依据学生学习进度、表现和操作行为,动态调整教学策略,为不同水平学生定制学习建议。

　　2虚拟仿真系统架构设计

　　2.1总体架构

　　系统总体架构采用分层设计理念,分为感知层、边缘计算节点、云平台和终端设备。感知层作为系统的“感知器官”,负责采集多源数据,包括视觉、听觉、触觉和操作行为等数据。边缘计算节点具有一定的计算和存储能力,能够在本地对采集到的数据进行初步的预处理和特征提取,生成特征向量后上传至云平台[1]。

　　云平台是系统的核心处理单元,它接收来自边缘计算节点的特征向量,并通过认知引擎进行决策。认知引擎基于多模态数据融合算法和认知决策模型,对学生的实验操作进行分析、预测和评估,生成决策指令。这些决策指令通过网络下发至终端设备,控制终端设备的显示、交互等操作。

　　2.2核心模块

　　虚实映射引擎是实现虚拟实验与真实物理规律相结合的关键模块。基于Unity3D和ROS（机器人操作系统）,虚实映射引擎能够构建逼真的虚拟实验场景,并模拟真实的物理现象。在虚拟实验场景中,物体的运动、碰撞、化学反应等都遵循真实的物理规律,学生能够在虚拟环境中获得接近真实的实验体验。

　　智能导学系统利用基于BERT的问题解答模块,为学生提供智能答疑服务。BERT（双向Transformer的Encoder）是一种强大的自然语言处理模型,能够理解文本的语义和语境。学生在实验过程中遇到问题时,可以通过语音或文字的方式向智能导学系统提问。

　　实验评估系统包括过程性评价和结果性评价两部分。过程性评价主要关注学生实验过程中的操作规范性、思维过程和学习态度等。通过对学生的操作行为、语音指令、表情变化等多模态数据的分析,评估学生在实验过程中的表现。结果性评价则主要针对学生的实验结果进行评估,包括实验数据的准确性、实验报告的质量等。实验评估系统采用自动评分和人工评分相结合的方式,确保评估结果的客观性和准确性。

　　2.3关键技术实现

　　在关键技术实现方面,采用WebRTC+QUIC协议实现低延迟通信。WebRTC（网页实时通信）是一种支持网页浏览器进行实时语音通话或视频对话的技术,具有高效、灵活的特点。QUIC（快速UDP互联网连接）是一种基于UDP的传输协议,具有低延迟、抗丢包等优势。通过将WebRTC和QUIC协议相结合,系统能够将端到端延迟控制在80ms以内,确保实验操作的实时性和流畅性。学生在进行实验操作时,系统能够及时响应,使学生获得良好的交互体验。

　　基于WebGL实现分布式渲染,支持跨平台使用。WebGL是一种用于在网页上进行高性能3D图形渲染的技术,无需安装额外的插件,在支持WebGL的浏览器中即可运行。通过WebGL,系统可以将虚拟实验场景的渲染任务分布在多个计算节点上进行,提高渲染效率。同时,由于WebGL的跨平台特性,学生可以在不同设备上,如电脑、手机、平板等,通过浏览器访问虚拟仿真实验教学平台,方便学生随时随地进行实验学习。

　　安全架构采用区块链存证技术和差分隐私保护技术。区块链存证技术利用区块链的去中心化、不可篡改和可追溯等特点,对学生的实验数据、操作记录等进行存证,确保实验数据的真实性和完整性,防止数据被篡改或伪造。差分隐私保护技术则通过在数据中添加噪声的方式,保护学生的隐私数据,在不影响数据统计分析的前提下,确保学生的个人信息和学习数据不被泄露,保障学生的隐私安全[2]。

　　3应用案例—CT虚拟仿真平台的搭建及应用

　　3.1 CT虚拟仿真平台的搭建与应用

　　CT虚拟仿真平台基于计算机仿真、多媒体及网络技术,以DICOM医学图像格式为基础研发,是专为CT检查技术教学打造的平台。学生能通过电脑或手机浏览器随时访问,平台提供在线学习、微课教学等功能,可模拟头颅、胸部、腹部等常规CT平扫操作,实现图像浏览、排版打印、测量等基础处理功能。实训时,教师先带领学生到医院CT室实地观摩,讲解成像原理、设备构造,模拟患者检查场景,演示规范操作流程。回到虚拟仿真实训室,学生依据任务单,通过平台完成颅脑、胸部等部位CT扫描全流程操作,利用三维重建等功能处理图像。平台内置智能评分系统,实时评分并生成评估报告,教师通过后台查看学生操作,进行针对性指导。

　　3.2教学效果

　　对学生的CT检查技术课程成绩分析显示,使用CT虚拟仿真平台的学生成绩高于未使用者。该平台以三维可视化呈现CT设备结构、成像过程,丰富教学资料,助力学生理解检查原理。学生借助电脑和网络就能完成CT检查全流程操作,不受时空和辐射防护限制,自主学习积极性显著提升。平台自动记录实训结果并智能评价,教师可实时掌握学情,优化教学策略,实现精准教学

　　4结语

　　本研究围绕多模态数据融合算法驱动的高校虚拟仿真实验教学平台开发展开,通过理论与实践结合,取得了一系列成果。多模态数据融合算法的引入极大提升了虚拟仿真实验教学平台的性能与教学效果。该算法整合文本、图像、音频、视频等多源异构数据,构建出更逼真、交互性更强的虚拟实验场景,让学生突破时空限制,沉浸式参与实验操作。同时,平台利用数据融合分析学生操作行为,为教师提供精准学情反馈,助力教学策略优化。

　　然而,研究过程中也发现,多模态数据的高效处理对硬件设备与网络环境要求较高,算法的优化迭代仍需持续投入。未来,需加强平台与不同学科教学的深度融合,推动高校虚拟仿真实验教学向智能化、个性化方向发展,为培养创新型人才提供更有力的支撑。

　参考文献

　　[1]罗昊,张晓东.虚拟仿真实验教学中心开放共享模式的探索[J].实验技术与管理,2016(10):232-236.

　　[2]陈雪玲,王飞,杨亚振,等.CT虚拟仿真技术在医学影像技术专业教学资源建设中创新应用[J].襄阳职业技术学院学报,2025,24(2):67-70.

　　[3]孙玲利,宋艳画,张丁华,等.虚拟仿真实验在高职畜牧兽医专业实训教学中的应用研究[J].现代畜牧科技,2025(4):160-163.