摘要： 自闭症谱系障碍(ASD) 患者在社交互动、语言交流和兴趣等方面表现出正常行为的偏差。随着自闭症患者数量的增加， 迫切需要在早期进行自闭症筛查， 以尽早提供专业治疗。目前自闭症筛查主要仰赖家长填写调查问卷和医疗专业人员进行人工观 察和评估， 这种方式效率较低且需要耗费较长的时间。机器算法在自闭症筛查领域的应用尚未得到广泛采纳。为提高筛查效率和 准确性，探讨机器视觉算法 RepNet 在识别自闭症患者重复动作方面的有效性，使用 RepNet 算法分析包含重复性和非重复性动作的 视频，评估 Repnet 的准确性; 通过分析包含自闭症患儿重复动作的视频，评估 RepNet 在自闭症重复性动作筛查中的准确性和匹配 性。结果表明： RepNet 在检测自闭症患者的重复行为方面表现出极高的有效性和准确性。

　　关键词： 自闭症谱系障碍;人机交互; RepNet 算法;机器视觉; 重复性动作监测

　　Study on the Health Monitoring of Autism Spectrum Disorder Based on RepNet

　　Guo Yingying1 ，He Yiqi1 ，Zhou Junyao2 ，Xie Jiayi2 ， Zhang Xiaoyu1 ，Liao Jianyuan1 ，Wu Yuting2.

　　Wen Xiaohong2 ，Zhang Chunliang1

　　( 1. School of Mechanical and Electrical Engineering, Guangzhou University, Guangzhou 520001. China;

　　2. School of Continuing Education, Guangzhou University, Guangzhou 520001. China)

　　Abstract: Autism spectrum disorders (ASD) patients exhibit deviations in social interaction, language communication, and interests, despite displaying normal behavior in these aspects. With the increasing number of individuals diagnosed with autism, there is an urgent need for early autism screening to facilitate timely provision of specialized treatment. Currently, autism screening heavily relies on parents filling out questionnaires and healthcare professionals conducting manual observations and assessments, a process known for itslow efficiency and time- consuming nature. The application of machine algorithms in the field of autism screening has not been widely adopted. To enhance screening efficiency and accuracy, the effectiveness of the machine vision algorithm RepNet in identifying repetitive movements in autism patients is explored; videos containing repetitive and non-repetitive actions are analyzed to evaluate the accuracy of RepNet; through the analysis of videos featuring repetitive movements in autism patients, the RepNet ’s accuracy and matching capabilities in screening for repetitive actions associated with autism are assessed. The results show that RepNet exhibits extremely high effectiveness and accuracy in detecting repetitive behaviors in individuals with autism.

　　Key words: autism spectrum disorders (ASD); human-computer interaction; RepNet algorithm; machine vision; repetitive actions detection

　　引言

　　自闭症， 又称为自闭症谱系障碍(Autism Spectrum Disorders ，ASD )[1] ，是一组神经发育-精神障碍， 其特 征是在社交互动、语言交流和兴趣等方面呈现出正常行 为的偏差。根据世界卫生组织在 2023 年发布的数据[2]， 全球每 100 名儿童中大约有 1 名患有自闭症[3] ， 自闭症的 患病率呈上升趋势[4-5]。目前的科学证据表明， 导致部分 儿童更容易患上自闭症的因素可能包括环境和遗传等多 方面的因素。从幼儿期到整个生命周期， 一系列的干预 措施可以优化自闭症患者的发展、健康、福祉和生活质 量。及时获得早期的循证社会心理干预措施可以增强自 闭症儿童有效沟通和社交互动的能力。近年来， 技术驱动的智慧评估为通过人工智能和人机交互进行自闭症早 期筛查提供了新的机会。

　　这项研究将机器人视觉算法 Repnet[6]和心理学洞察力 相结合来捕捉相关儿童的姿势行为。利用高灵敏度和特异 性的自闭症量表将这些数据与精心制作的核心尺寸重量框 架相匹配。这种综合方法构建了一个基于机器视觉算法的 自闭症谱系障碍辅助筛查系统。主要目标是促进自闭症的 早期症状筛查，从而提高自闭症检测[7] 的有效性和及时性。 值得注意的是，Repnet 模型具备零学习曲线，即可直接使 用。由于自闭症患者的视频较为有限且往往不会公开发布， 这意味着不需要事先的模型训练，与自闭症研究中常见的 训练数据匮乏的情况非常契合，这拓展了人机交互的视野。

　　目前， 机器人已被纳入自闭症谱系障碍患者的治疗 策略中[8-10] ，其中包括 Nao 机器人等[11-12] ，取得了令人鼓 舞的成果。其中机器算法不断取得进步[13] ，并逐渐渗透 到各个领域， 这为人工智能与医疗实践的更深层次融合 提供了坚实的科学基础， 但目前在医疗检测方面对机器 算法的运用仍相对较为有限[14]。

　　根据现有研究， 自闭症谱系中的儿童通常面临以 下挑战： 首先是语言和认知障碍; 其次是社交困难; 第三是兴趣有限且行为模式重复。该项目以 《精神障 碍诊断与统计手册》(DSM-5) 第五版中概述的核心自 闭症症状的描述为基础， 包括社交互动障碍、特质和 行为习惯等方面。通过利用 BISCUIT-Part 1[15] 对早期自 闭症筛查的高度敏感性， 本文侧重于从量表的 3 个核 心维度调查自闭症儿童的重复行为： 重复行为、言语 和社交互动。

　　证据表明， 筛查显著降低了自闭症谱系障碍(ASD) 的诊断年龄。正如 Carbone 等[16-17]2020 年所发现的， 大多 数儿童接受了 ASD 筛查， 但筛查者之间存在差异。筛查 阳性儿童的益处包括提高检出率和降低诊断年龄。因此， 自闭症谱系早期筛查[18-19] 的目标是在婴幼儿阶段尽早发 现疑似自闭症谱系症状， 并通过基础检查来确定是否需 要进一步的诊断评估和早期干预。通过这一系列逐步进 行的早期识别、早期诊断和早期干预过程， 不仅可以增 强自闭症谱系障碍患儿的适应能力， 提高他们的社交能 力， 预防继发性发育障碍， 而且有助于减轻家庭压力， 降低社会成本[20-21]。因此， 对现有自闭症风险的早期筛 查和工具的选择变得极为重要和必要。

　　目前的筛查方法主要依赖于家长填写的调查问卷和 人工观察， 而人工观察存在人为误差和疲劳的问题。无 论是心理医生还是自闭症患者， 长时间进行观察都是不 现实的。由于先前的研究证明了 RepNet 在重复性动作识 别方面具有有效性[6] ， 为提高筛查的效率和准确性， 引 入最直观的机器视觉算法以检测自闭症患者的重复性动 作成为一种尝试。本文采用 RepNet 算法模型进行自闭症 儿童的重复性动作检测。通过对预先准备的视频进行检 测， 进一步通过仿真和实验验证来并评估其在自闭症重 复性动作检测方面的适用性， 探讨此算法在自闭症筛查 领域的有效性、准确性。

　　1 方法原理

　　1.1 RepNet 模型

　　RepNet[6] 的架构包括 2 个学习组件和编码器， 以及连 接它们的时间自相似层。假设给定视频被分成 N帧 V= [v1 ，v2 ， … ，vN]。首先， 将视频 V输入图像编码器 α ，得 到嵌入 X=α(V)， 在每帧 X=[x1 ，x2 ， … ，xN]中产生嵌入。 接下来， 计算所有嵌入对之间的相似度 Sij，利用嵌入 X来获得自相似矩阵 S。最后，将自相似矩阵 S输入到周期 预测器模块。该模块为每帧输出 2 个元素：发生速率再现 的周期长度估计 l= ψ(S)， 以及显示周期得分p = τ(S)， 用于确定该帧是否在周期部分的一部分内。整体架构如 图 1 所示。

　　1.2 编码器

　　编码器由 3 个组件构成。

　　( 1) 卷积特征提取器。采用 ResNet-50 作为基础卷 积神经网络(CNN)， 从输入视频中提取 2D 卷积特征。 帧的尺寸设置为 112×112×3.这些特征被输入到下一个 输出以获得更大的空间 2D 特征图。经过 4 次卷积后， 每 帧的特征尺寸变为 7×7×1 024.

　　(2)暂存内容。通过 3D 卷积层将局部时间信息添加 到每帧特征中以传递卷积特征。使用 ReLU 激活 512 个大 小为 3×3×3 的滤波器， 扩张率为 3.输出大小为 64×7×7× 1 024.暂存内容有助于短期运动建模， 并使模型能够区 分看起来相似的帧之间具有不同运动的帧。

　　(3) 降维。通过在空间维度上使用全局 2D 最大池化 来降低提取的时空特征的维度， 并生成与视频中的每个 帧 vi 相对应的嵌入向量 xi。

　　1.3 时间自相似矩阵

　　时间自相似矩阵(TSM) 通过计算从每帧 vi 获得的 潜在嵌入对 xi 和 xj 之间的相似度 S。其中， 相似度 Sij=f (xi ，xj)， 而f(·)表示相似度函数。采用欧氏距离平方 的负值， 即f(a ，b) = -||a-b||2 ，作为相似函数的值， 然 后逐行进行 Softmax 运算。 TSM 被引入作为网络间的信息 瓶颈， 由于 TSM 仅包含单个通道， 还能够提供正则化效 果。此外， TSM 使模型能够在时间上进行解释， 从而为 模型的预测提供更多深入的见解， 同时更直观地呈现自 闭症患者重复性动作发生的时间段和周期。

　　1.4 周期预测器

　　自相似矩阵为 S= [s1 ，s2 ， … ，sN]T ，其中每行 si 是每 帧自相似表示。该模块创建 2 个输出： 每帧周期长度估 计 l=ψ(S) 和每帧二进制周期性分类p= τ(S)， 其中 l和 p均是向量， 它们的元素是每帧预测(即 li 是第 i 帧的周 期长度预测)。值得注意的是， 预测因子 ψ 和 τ 共享共同 的架构和权重，直到最终分类阶段。

　　共享处理始于 32 个大小为 3×3 的 2D 卷积滤波器层， 然后是一个变换器层， 该变换器层使用多头注意力以及 通 过 训 练 学 习 的 64 长 度 变 量 的 可 训 练 位 置 嵌 入 。 在Transformer 中使用了 4 个 512 维的注意力头， 每个注意力 头的大小为 128 维。共享处理后，得到 2 个输出， 即周期 长度分类器 ψ 和周期分类器 τ , 它们各自包含 2 个全连接 层， 每个层的大小为 512.这 2 个输出与检测结果相关， 用于判断视频中的人是否具有自闭症的倾向。

　　2 仿真分析

　　首先，利用包含重复片段的视频来评估算法的性能。所使用的视频内容以蜂 鸟振翅为特色[22]。在此 仿真测试中， 期望的结 果是在导出的视频中嵌 入数字会随着蜂鸟振翅 的次数而增加， 从而能 够准确统计蜂鸟振翅的 次数。图 2 所示为计数 视频截图。

　　此外， 该模型将生成与输入视频相对应的表格， 提 供蜂鸟振翅计数以及输入视频中存在的循环运动的具体 比例清晰可视化。可视化的屏幕截图如图 3 所示。

　　在视频中， 蜂鸟持续振翅， 从图 3 可以看出， 所有 周期性分数均超过了 0.5.证明了模型判断视频中存在周 期性动作且在周期范围内，并且在超过值 0.5 时进行计数。

　　3 实验分析

　　( 1)真实自闭症儿童的视频

　　从互联网上获取真实自闭症儿童视频并用于最终实 验[23]。视频记录了一名自闭症儿童坐在婴儿椅上， 重复 着动作并摇晃身体。这些视频被导入到模型中并生成 2 个输出， 一个是计数视频， 另一个是 TSM 矩阵可视化后 的结果。

　　(2)对真实 ASD 参与者进行的实验

　　在本次实验中， 邀请了一些年龄未满 18 岁的自闭症 谱系障碍(ASD) 参与者参与， 其家长已经获得知情同 意。参与者在学校体育馆的空闲时间内进行了重复动作 的采集， 以真实地反映参与者最真实的动作。这些重复动作被摄像机捕捉到， 并将相应的视频输入到所建立的 模型中，得到计算重复次数和周期长度。

　　(3) 只涵盖非重复性动作的视频

　　为了分析模型在处理非重复性动作时是否会出现误 判的情况， 在本次实验中输入了一些仅包含非重复性动 作的视频。这些视频的内容来自某韩国团体的粉丝对团 队成员的剪辑， 其中包括较为静态的动作。理论上， 模 型不应进行任何重复性动作的计算。

　　通过图 4 可以得知， 在这个视频中， 模型进行了 2 次重复动作的计算。进一步检查视频， 发现这段时间 内团队成员进行了一个非常微小的重复头部动作， 因 此模型对此动作做出了反应。然而， 在 100 帧后的周 期性分数较低， 证明模型识别出 100 帧后该团体成员 没有周期性和重复性动作。这个实验证明了模型的敏 感性和准确性。

　　(4)结果讨论

　　通过比较预期重复次数和模型输出， 发现输出结果 与预期、自相似矩阵以及输出计数视频的屏幕截图完全 匹配， 如图 4~5 所示。

　　此外，该模型还生成一个与输入视频相对应的表格， 清晰地显示所计数的自闭症儿童的重复运动(图 6)， 以 及输入视频中存在的循环运动的具体比例。可视化的屏 幕截图如图 7 所示。由图 7 可知，所有的周期分数均呈现 高于 0.5 的状态， 这表明模型判断此时存在周期性动作。 在视频中， 自闭症儿童正在不停地重复摇动自己的身体。 这证明了模型在判断自闭症儿童的重复性动作时是可行 且准确的。

　　4 结束语

　　为了进一步改进现有自闭症筛查方法， 本文采用机 器视觉算法 RepNet 来检测自闭症患者的重复性动作。通 过分析视频中各帧的相似度， 本文推断重复动作的周期 并计算其次数， 利用 RepNet 检测视频中的个体是否存在 重复动作， 以判断其是否具有自闭症倾向。在对 RepNet 进行自闭症倾向检测的模拟和测试阶段，通过输入包含自 闭症患儿重复性动作的视频， 测试 RepNet 是否能准确确 定视频中的重复动作次数。结果表明， RepNet 能够准确 计算重复动作的次数，并对微小的重复性变化非常敏感， 进一步证明了 RepNet 在自闭症筛查中的适用性。不仅如 此， RepNet 无需经过先前的模型学习过程， 这在心理学 和医学领域都是一项重大突破。未来将继续深入研究该 算法，并进行改进， 以期减轻医学和心理学领域的压力。

参考文献：

　　[1] 陈茂洲, 刘化东, 许博俊, 等 . 基于深度学习的自闭症谱系障 碍 fMRI 数据分类研究[J]. 现代电子技术, 2023. 46(21): 48-54.

　　[2] 世界卫生组织 . 自闭症[EB/OL].https://www.who.int/zh/news- room/fact-sheets/detail/autism-spectrum-disorders.

　　[3] ZEIDAN J N, FOMBONNE E, SCORAH J, et al. Global preva ‐ lence of autism: a systematic review update[J]. Autism Research: Official Journal of the International Society for Autism Research, 2022. 15(5): 778-790.

　　[4] VON EHRENSTEIN O S, CUI X, YAN Q, et al. Maternal prena ‐ tal smoking and autism spectrum disorder in offspring: a Califor‐ nia statewide cohort and sibling study[J]. American Journal of Epidemiology, 2021. 190(5): 728-737.

　　[5] IDRIS A B, AL-MAMARI W, ABDULRAHIM R, et al. Under‐ standing discrepancy in autism epidemiology in view of underpin ‐ ning genetic architecture: lessons learnt from studies in consan ‐ guineous populations[J]. Research in Autism Spectrum Disor ‐ ders, 2022. 93: 101944.

　　[6] DWIBEDI D, AYTAR Y, TOMPSON J, et al. Counting out time: class agnostic video repetition counting in the wild[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Seattle, WA, USA. IEEE, 2020: 10384-10393.

　　[7] 陈光华, 陶冠澎, 翟璐煜, 等 . 自闭症谱系障碍的早期筛查工具[J]. 心理科学进展, 2022. 30(4): 738-763.

　　[8] 鲍海丽 . 人形机器人干预联合体感游戏在孤独症谱系障碍儿 童康复治疗中的应用[J]. 中国疗养医学, 2021. 30(2): 157-158.

　　[9] 代美娜, 孙玉梅 . 机器人应用于自闭症谱系障碍儿童干预的 研究[J]. 中国特殊教育, 2019(4): 40-46.

　　[10] 张议丹, 赵晨静, 赵明, 等 . 社交机器人在自闭症谱系障碍儿 童照护中的应用进展[J]. 护理学杂志, 2020. 35(15): 107-110.

　　[11] 毛志贤 , 朱晓龙 , 韦建军 , 等 . 家庭服务机器人现状与展望 [J]. 机电工程技术, 2021. 50(2): 8-14.

　　[12] 江励, 周鹏飞, 汤健华 . 基于深度学习的人体动作识别算法 [J]. 机电工程技术, 2023. 52(11): 23-27.

　　[13] 陈祝云, 钟琪, 黄如意, 等 . 基于增强迁移卷积神经网络的机 械智能故障诊断[J]. 机械工程学报, 2021. 57(21): 96-105.

　　[14] 侯婷婷, 陈潇, 孔德彭, 等 . 机器学习在自闭症儿童早期识别和 诊断领域的应用[J]. 心理科学进展, 2022. 30(10): 2321-2340.

　　[15] 吴满红, 徐宁, 常燕群, 等 . 孤独症诊断观察量表模块 1 和儿 童期孤独症评定量表的临床应用对比[J]. 中国儿童保健杂 志, 2022. 30(11): 1181-1184.

　　[16] CARBONE P S, CAMPBELL K, WILKES J, et al. Primary Care Autism Screening and Later Autism Diagnosis[J]. Pediatrics, 2020. 146: e20192314.

　　[17] ROSENBERG K. Preemptive intervention beneficial for infants with early signs of autism[J]. The American Journal of Nursing, 2022. 122(2): 50.

　　[18] 黄亦明, 刘金珍, 徐雁, 等 . Achenbach 儿童行为量表(CBCL) 在孤独症谱系障碍儿童中的应用研究[J]. 中国社会医学杂 志, 2022. 39(5): 571-575.

　　[19] 陈小燕, 邹小兵, 陈凯云, 等 . 基于 3 分钟视频的孤独症谱系 障碍儿童早期症状分析[J]. 中华实用儿科临床杂志, 2017. 32(10): 777-779.

　　[20] 柯晓燕 . 孤独症谱系障碍早期识别与早期诊断的现状与挑 战[J]. 中国儿童保健杂志, 2023. 31(3): 238-240.

　　[21] ALARFAJ E, ALABDULLATIF H, ALABDULLATIF H, et al. Analysis of the use of a NAO robot to improve social skills in children with ASD in Saudi Arabia[C]//ARAI K, KAPOOR S, BHATIA R. Proceedings of SAI Intelligent Systems Conference. Cham: Springer, 2019: 902-913.

　　[22] YouTube.Hummingbird flying[EB/OL].https: //youtube/dbb6O6je yZI.

　　[23] Bilibili. 10 Early Signs of Autism[EB/OL]. https://www.bilibili. com/video/BV1bk4y1B7Yo/.