近日，北京协和医院神经科脑电图和神经电生理团队联合网易传媒技术部在Neural Networks（中科院一区）上以原创性论著的形式，发表关于发作间期癫痫样放电(IED)自动检测模型的研究成果。创新性将视频数据融入IED检测，建立基于多模态技术的人工智能检测模型vEpiNet。相比传统检测模型，该模型具备更高准确性、更高效能。该研究得到了中央高水平医院临床科研专项和科技部重点研发计划的支持。

癫痫是常见的神经系统疾病，脑电图是其诊断重要工具。发作间期癫痫样放电(IED)作为标志性指标，对于癫痫诊断分类及药物管理至关重要。目前IED检测仍依赖于癫痫专科医生的判读和手动注释，过程耗时长，且存在主观性。人工智能辅助可以提高脑电图判读效率、减少人为误差。近年来，人工智能分析检测IED技术飞速发展。

国内外现有IED检测模型多依靠脑电图单维度，检测特异性低。本研究解决了视频数据体量大、检测目标暴露不充分、易受环境干扰等难点，创新性将视频数据转化为可用特征引入脑电深度学习架构，从两个不同维度捕捉IED特征，以达到高准确性检测结果。

研究纳入协和癫痫中心24931个IED视频脑电样本用于模型构建。脑电图数据经短时傅里叶变换、EfficientNetV2-S网络处理，完成电生理特征提取。视频数据首先通过病人检测模型YOLOv5-patient进行目标定位，以去除环境和周围人员的影响，然后采用侦差算法解决病人肢体被遮盖的问题，并通过关键点捕捉细微面部动作，从而将病人全身和面部动作转化为视频特征，将视频体量大幅减少，实现准确提取特征并保证处理速度。最后多层感知机将脑电和视频特征融合，整个模型命名为vEpiNet。

▲多模态IED检测模型示意图

结果显示，该模型可以实现高水平的敏感性、特异性和准确率，每分钟假阳率低于既往研究。尤其在临床真实环境中，视频特征可以显著提高准确率，降低检测误判。

▲vEpiNet和脑电单维度模型（nEpiNet）测试结果

该模型可嵌入适配的脑电图仪操作系统，目标视频脑电数据完成分析后，在脑电图仪的回放软件上直接呈现标记的检测结果，目前处理一小时视频脑电图数据仅需5.7 分钟。

▲检测示例：垂直线为软件检测结果，提示前后两秒窗口内（如红色虚线所示）存在IED

引入人工智能对助力脑电图报告的同质化、标准化和规范化具有重要意义，本研究证实多模态技术在IED自动检测中应用的有效性和可行性，为人工智能在脑电图中的应用提供了新的方向。

第一作者：林楠

北京协和医院神经科主治医师。主要从事癫痫和脑电图方向工作。

共同通讯作者：卢强

北京协和医院神经科副主任医师。主要从事癫痫及脑电图相关临床工作。

共同通讯作者：崔丽英

北京协和医院神经科主任医师。主要从事临床神经电生理的应用和研究，擅长运动神经元病、神经肌肉病和各种疑难杂症等诊治。

原文链接：https://www.sciencedirect.com/science/article/pii/S0893608024002430?via=ihub

编辑/王敬霞