摘要：TBM（Tunnel Boring Machine,全断面岩石掘进机）隧道工程中数据采集量大且噪声干扰多,分析难度颇高。基于此,本文开发了一套基于Python和机器学习的TBM掘进数据预处理软件,该软件集成数据筛选、降噪、标准化分割以及可视化分析功能,依靠核密度估计、巴特沃斯滤波和长短期记忆网络（Long Short-Term Memory networks,LSTM）算法实现TBM掘进参数精准降噪和特征提取。应用案例显示软件能使数据拟合优度R2从0.503提高到0.721,平均相对误差MRE从3.107%降到0.096%,显著提升了数据质量和模型预测精度,为TBM智能化施工提供了数据支撑,为技术软件的推广应用奠定了基础。

　　关键词：TBM隧道工程；数据预处理；Python开发；机器学习；智能化施工

　　0引言

　　TBM隧道工程高效、安全且成洞质量高,在超长隧道建设和复杂地质条件施工场景中被广泛应用。山岭隧道建设时,TBM能快速穿过坚硬岩层,从而大幅缩短工期；城市地铁施工中,其安全可靠,可有效减少对周边环境的影响。但TBM掘进过程中不停产生海量数据,这些数据噪声干扰大、特征难提取、数据分析效率低,且模型预测精度严重不足。传统数据预处理方法多靠人工经验,在复杂多变地质条件和动态施工环境下难以满足实际需求。本文旨在开发一套功能完备的TBM隧道工程数据预处理软件,为TBM智能化施工奠定坚实的数据基础。

　　1 TBM隧道工程数据特点与预处理需求

　　1.1 TBM掘进数据特点

　　TBM掘进时,会实时采集上百个参数,如推进速度、刀盘转速、刀盘转矩、总推进力等。数据采集频率可达1Hz,单日产生的数据量达86400条。数据规模大,且多源性、噪声干扰性和动态性特征显著[1]。多源性决定了这些数据包含地质参数,如岩石类型、单轴抗压强度、裂隙夹角等,以及掘进参数和振动数据。各类数据彼此关联,共同反映TBM工作状态与施工环境。TBM工作环境复杂,大地脉动、工频干扰、设备自激振动等噪声干扰因素会让采集的数据混入很多噪声,导致数据准确性和可用性受到严重影响[2]。动态性体现为地质条件一变,TBM掘进参数就非线性波动,碰上坚硬岩层,刀盘转矩和总推进力猛增；进到软弱地层,推进速度也大幅降低。这些复杂数据特征使得数据处理挑战巨大。

　　1.2预处理需求分析

　　想要在海量复杂的数据中提取有价值信息,就得全面做好数据预处理工作。数据筛选时,要把地质、掘进参数、振动数据有效合并并清洗异常值和缺失值。异常值或许是传感器故障或者数据传输错误导致的,而缺失值会影响数据分析的完整性。降噪处理要把白噪声、工频干扰等无用信号消除,以提取能真正反映TBM工作状态的有效特征。标准化分割是将掘进过程分成空推段、上升段、稳定段、下降段等不同阶段,从而能分段分析数据,以深入了解TBM在不同阶段的工作特性。可视化分析用直观图表展示掘进参数变化趋势,为施工决策提供有力支持[3]。

　　2 TBM数据预处理软件开发

　　2.1软件架构设计

　　本软件采用模块化设计理念,将整体功能划分为数据导入、数据筛选、降噪处理、标准化分割、可视化分析五大核心模块[4]。各模块通过标准化数据接口实现高效交互,采用JSON格式作为模块间数据传输的统一标准,确保数据在流转过程中的完整性与一致性,同时支持模块的独立调用与并行处理,大幅提升了软件的运行效率。

　　数据导入模块兼容性强,常见的逗号分隔值（Comma-Separated Values,CSV）、Excel等数据格式都支持且能自动识别匹配时间戳与桩号信息以确保数据准确性和一致性,还可通过插件扩展支持工业级数据库（如In■uxDB、MongoDB）的数据接入,满足大规模TBM施工数据的实时导入需求。数据筛选模块依据地质条件和掘进参数的内在联系深度清洗数据,从而有效去除异常值和缺失值,内置数据质量校验机制,清洗后自动生成数据质量报告,便于用户追溯处理过程。降噪处理模块集核密度估计、巴特沃斯滤波、LSTM算法等先进技术于一体,以实现精准降噪,支持算法参数的实时调优与效果预览。标准化分割模块综合运用标准差法、均值法、直方图法来科学划分掘进阶段,可根据不同地质工况自定义分割规则。可视化分析模块能生成掘进参数时序图、频谱图、三维散点图等多种图表以直观展示数据特征,各模块相互协作形成完整的数据预处理流程[5]。

　　2.2核心算法实现

　　核密度估计算法在核心算法层面作用重要,其通过深入分析数据分布特征来优化降噪阈值,让降噪处理更精准高效。巴特沃斯滤波算法靠低通滤波剔除高频噪声、高通滤波,保留有效信号以抑制数据噪声。LSTM算法被用于建立扭矩切深指数（Torque-Penetration Index,TPI）预测模型,该算法学习分析历史数据预测TPI值,从而验证降噪效果。实际应用中,输入层节点数191、隐藏层节点数64、输出层节点数1这样的参数设置能充分发挥LSTM算法优势,提高模型预测精度[6]。

　　此外,软件的数据筛选算法综合运用阈值法与聚类法,深度挖掘地质参数与掘进参数之间的关联性。在地质参数匹配过程中,依据岩石类型、单轴抗压强度、裂隙夹角等关键参数,筛选出符合特定地质条件的有效数据。对于掘进参数,通过设定合理的阈值,剔除推进速度、刀盘转矩等参数中的异常值和缺失值。针对振动数据,采用小波变换技术,有效去除其中的高频噪声,确保数据的真实性和可靠性[7]。通过这些步骤,实现对原始数据的初步筛选和优化,为后续的数据处理打好基础。

　　2.3软件界面设计

　　采用Python的Tkinter库开发软件界面,整体布局简洁且操作方便。界面主要有数据导入区、参数设置区、结果展示区三个部分。数据导入区使用户能轻松选择数据文件导入。参数设置区选项丰富,用户可通过下拉菜单自由选择降噪算法与分割方法,且可根据实际需求调整参数。结果展示区实时呈现数据处理结果,用户可直观查看数据清洗、降噪、分割后的效果以及可视化图表,以便于及时发现问题并调整。系统软件界面图如图2所示。

　　为提升操作便捷性,界面新增“操作记录回溯”功能,自动保存用户的参数设置、数据处理步骤及结果文件路径,支持30天内操作记录的查询与一键复现,避免重复操作；针对多任务并行需求,界面设计“多线程任务管理面板”,可同时显示5个数据处理任务的进度（如“数据导入-35%”“降噪处理-82%”）,支持任务暂停、继续或优先级调整,适配大规模TBM数据批量处理场景。在用户交互优化上,关键操作（如数据覆盖、算法切换）设置弹窗二次确认[8],并内置“新手引导”模块,通过分步提示帮助非专业用户快速掌握核心功能,进一步降低软件使用门槛。

　　3软件应用案例验证—引绰济辽工程案例

　　引绰济辽工程TBM长达19.5公里、历时802天的掘进过程,其数据以1Hz的频率记录着,数据量庞大又复杂,应用软件对这些数据预处理后效果显著。就降噪而言,LSTM模型预测验证集的拟合优度R2从0.503大幅提升到0.721,这意味着经软件处理后,数据与模型的拟合度更高且模型反映数据内在规律更准。标准化分割算法表现优异,能准确划分空推段、上升段、稳定段、下降段,施工人员据此能清楚地了解TBM不同阶段的工作状态。可视化分析生成的掘进参数时序图直观展现各参数随时间的变化趋势,施工团队可借此及时发现问题并调整施工策略。如表1所示。

　　4结语

　　本文成功开发了TBM隧道工程数据预处理软件,集成了数据筛选、降噪、标准化分割、可视化分析等强大功能,借助机器学习算法显著提升了数据质量和模型预测精度。在引绰济辽工程中的实际应用案例表明,该软件能有效解决TBM掘进数据处理难题,为TBM智能化施工提供可靠的数据支撑。未来将进一步优化算法,不断拓展软件在复杂地质条件下的应用场景,推动TBM隧道工程朝着智能化、高效化方向发展,为隧道工程建设领域带来更多创新和突破。

参考文献

　　[1]肖浩汉,皮进,张雯,等.BM隧道工程数据预处理软件开发及应用[J].铁道建筑,2025,65(4):99-105.

　　[2]李世博.基于人工智能的软件开发数据库隐私数据泄露识别技术[J].信息与电脑,2025,37(7):35-37.

　　[3]郭俨锐.基于深度学习的分布式软件缺陷预测模型开发研究[J].软件,2024,45(11):56-58.

　　[4]何弯弯,王茹楠,张超,等.比长基线测量数据预处理检查软件的设计与实现[J].城市勘测,2024(4):110-112.

　　[5]胡伟建,卢立果,吴汤婷,等.多频多GNSS数据预处理软件设计与实现[J].全球定位系统,2024,49(3):115-122.

　　[6]陈炫菲.频谱激电数据预处理软件开发与字典学习去噪研究[D].南昌:东华理工大学,2024.

　　[7]杨文坤.基于双模态数据和知识驱动的TBM围岩分类识别研究[D].南京:东南大学,2023.

　　[8]徐凯.隧道工程智能监测云信息系统的研发与应用[D].西安:西安建筑科技大学,2023.