(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111546313.3 (22)申请日 2021.12.16 (71)申请人 北京阿叟阿巴科技有限公司 地址 102200 北京市昌平区黄平路19号院4 号4层416 (72)发明人 程建宏　 (74)专利代理 机构 山东知圣律师事务所 37262 代理人 陈晓辉 (51)Int.Cl. G16H 50/20(2018.01) A61B 5/16(2006.01) G06F 16/36(2019.01) G06K 9/62(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) G06V 20/40(2022.01) G06V 40/10(2022.01) G06V 40/20(2022.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G10L 15/00(2013.01) G10L 15/02(2006.01) G10L 15/06(2013.01) G10L 15/26(2006.01) G10L 25/66(2013.01) (54)发明名称 一种基于多层级关键特征行为的孤独症患 者画像方法 (57)摘要 本发明公开一种基于多层级关键特征行为 的孤独症患者画像方法， 该方法包括： 调查问卷 设计和采集模块、 家长语音自由表述采集模块、 半结构化视频采集模块、 自由生活视频上传模 块、 视觉关系检测模块、 多模态特征提取模块、 孤 独症患者画 像联合训练模块、 孤独症患者画像评 估模块以及画 像结果呈现模块。 本发 明从孤独症 患者的实际情况以及无偏评估的需要出发， 通过 家长、 诊疗 师和被测试者本身 等多个层级的多维 度关键特征对被测试者孤独症患者的画像进行 评估， 并挖掘它们的关联性， 实现孤独症患者谱 系障碍画像的精准构建， 供专业医务人员参考， 此外， 在被测试者社交能力评估 过程中通过半结 构化视频以及更为准确的视觉关系检测进行评 估， 评估更为精确。 权利要求书2页 说明书9页 附图2页 CN 114242235 A 2022.03.25 CN 114242235 A 1.一种基于多层级关键特 征行为的孤独症患者画像方法， 其特 征在于， 包括如下步骤： （1） 通过调查问卷设计和采集模块中的综合能力评估量表采集被测试者的综合能力调 查问卷数据； （2） 家长通过家长语音自由表述模块录制并上传被测试者的日常表现的音频； （3） 通过半结构化视频采集模块中的半结构化的自然场景设置与被测试者进行不同程 度的交互录制相应的视频， 并上传到平台； （4） 通过自由生活视频 上传模块被测试者某一天的某些日常生活视频 上传到平台； （5） 通过视觉关系检测模块对被测试者与物体之间进行视觉关系检测， 从而更加准确 的评估被测试者的社交能力； （6） 通过多模态特征提取模块对上述采集到的家长自由表述音频数据、 半结构化的视 频数据、 自由生活视频数据进行语音识别、 人体检测识别、 人体骨架点检测以及物体检测， 并进行文本特 征、 图像特 征和时空特 征的提取； （7） 通过孤独症患者画像联合训练模块中带标签的多层级数据对孤独症谱系障碍画像 模型进行 联合训练， 构建基于多层级关键特 征行为的孤独症患者画像模型； （8） 利用孤独症患者画像评估模块， 并根据上传的所述调查问卷、 家长自由表述音频、 自由生活视频以及半结构化场景采集的视频数据、 已经训练好的孤独症患者画像模型， 对 被测试者孤独症谱系障碍进行画像； （9） 通过孤独症 画像结果呈现模块呈现被测试者的孤独症 画像， 即得。 2.根据权利要求1所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （1） 中， 所述调查问卷设计和采集模块通过知识图谱和机器学习技术对典型的孤独 症评估量表进行深入分析， 挖掘不同评估量表条目之间的关联和异同， 并结合真实案例进 行验证， 设计综合能力评估量表。 3.根据权利要求1所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （3） 中， 通过与被测试者按照 半结构化的设置进行不同程度的交互， 其中半结构化 的交互活动为预先定义的交互动作， 然后， 通过不同传感器采集录制相应的半结构化视频， 并上传到平台， 后续将根据这些视频通过机器学习算法进行其社交能力的评估。 4.根据权利要求3所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （3） 中， 还 包括半结构化视频录制时的图像采集装置和音频采集装置； 优选地， 所述图像采集装置用于录制诊疗师与被测试者的交互过程， 且图像采集装置 共包括2个RGB ‑D摄像头， 其中一个摄像头安装于场景的顶端， 另一个为隐秘放置于诊疗师 或家长身旁15 cm， 镜头朝向孩 子， 将孩子的头部和上半身置 于取景框中央； 优选地， 所述音频采集装置用于录制诊疗师与被测试者的交互过程的音频信息， 其以 钢笔形态放置 于诊疗师的胸前。 5.根据权利要求1所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （4） 中， 所述生活视频最好是在被测试者在无意识、 独处情况下进 行拍摄， 每段视频 具有一定的时长， 并依次进行 上传； 同时， 为了尽可能的减少所拍摄视频的差异； 优选地， 家长与被测试者保持一定的距离的情况下进行拍摄， 为此， 所述自由生活视频 上传模块对拍摄画 面中被测试者占整个画面的比例判断视频拍摄距离是否合理， 如果不合 理， 则进行提醒。权　利　要　求　书 1/2 页 2 CN 114242235 A 26.根据权利要求1所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （5） 中， 所述视觉关系检测模块不仅通过被测试者的头部朝向、 目光朝向、 面部表 情、 姿势、 位置、 手势等信息进行被测试者的社交能力评估， 而且对被测试者与物体之间进 行视觉关系检测。 7.根据权利要求6所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 将视频序列分解为一定帧数的视频片段， 相邻片段之间也重叠一定的帧数， 然后， 分别 通过人体检测单元、 人体骨架点检测单元以及物体检测单元对每一帧进行目标检测， 在每 个片段上进行人或物体轨迹的抽取， 提取对应的时空特征和相关性特征， 并进行短期视觉 关系的识别， 最后， 使用贪婪算法将从连续视频片段中检测到的所有短期视觉关系实例合 并产生完整的视觉关系； 该视觉关系通过文本特征提取单元进行特征提取， 用于对被测试 者的社交能力进行评估。 8.根据权利要求1所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 步骤 （6） 中， 所述多模态特征提取模块包括： 语音识别 单元、 文本特征提取单元、 人体检 测识别单 元、 人体骨架点检测单 元、 物体检测单元和时空特 征提取单元。 9.根据权利要求8所述的基于多层级关键特征行为的孤独症患者画像方法， 其特征在 于， 所述语音识别提取单元通过语音识别技术对被测试者、 诊疗师和被测试者家长的语音 进行识别和文本转换， 从而获取对应的语音内容； 所述文本特征提取单元通过自然语言处理技术对调查问卷文本 内容、 以及语音转换为 文本的内容进行 特征提取， 为后续的联合训练提供基础； 所述人体检测识别单元通过机器学习技术对半结构视频和自由上传视频中的人体进 行检测， 并对诊疗师或家长、 被测试者进行识别； 所述人体骨架点检测单元通过深度 学习技术对诊疗师或家长、 被测试者进行进一步的 人体骨架点检测， 为后续视 觉关系检测提供帮助； 所述物体检测单元通过小目标检测技术对视频中已定义物体进行检测， 并输出对应的 位置和类别； 所述时空特征提取单元用于通过三维时空卷积网络对每个视频片段提取对应的时空 特征。 10.根据权利要求1 ‑9任一项所述的基于多层级关键特征行为的孤独症患 者画像方法， 其特征在于， 步骤 （7） 中， 所述孤独症患者画像模型的构建包括如下步骤： 首先， 调查问卷特 征是问卷中每个条目发生的频率或存在性， 使用对应条目的特征向量参与后续的训练； 其 次， 家长自由表述语音通过语音识别技术进 行识别和文本转换， 从而获取对应的语音内容， 然后通过自然语言处理技术对其进行特征提取， 其提取过程融入整个网络模型中； 再次， 针 对半结构视频， 通过视觉关系检测模块提取被测试者与物体的关系， 获得对应的关系描述 词汇， 然后也通过自然语言处理技术对其进行文本特征提取， 其提取过程也融入整个网络 模型中； 然后， 针对自由生活视频， 首先将每个生活视频分为一定帧数的视频片段， 相邻片 段之间重叠一定的帧数， 其次通过时空特征提取单元提取对应的时空特征， 再次通过分类 器模型对被测试者是否存在刻板行为进 行判断， 其输出应用于后续的计算； 最后， 调查问卷 特征与其它层级特征 的通过全连接层进行融合， 并进行联合训练， 获得对应的孤独症画像 模型。权　利　要　求　书 2/2 页 3 CN 114242235 A 3