本发明专利技术公开了一种婴儿手部精细动作识别方法，提取视频连续帧中的手掌的形状和轮廓；选取并标记婴儿的手掌关键点；定义各指尖到手指根部的距离；将婴儿手掌完全张开的状态标记为舒张状态，检测该状态下的各指尖到手指根部的最大距离阈值；定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；将婴儿手掌完全握拳的状态标记为握拳状态，检测该状态下双手拇指、食指和中指与手掌的最小夹角阈值；对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

全部详细技术资料下载

【技术实现步骤摘要】

一种婴儿手部精细动作识别方法及系统

本专利技术涉及图像识别领域，具体涉及一种婴儿手部精细动作识别方法及系统。

技术介绍

现有技术中用于判别手部精细动作的方式及运用到婴儿手部精细动作识别条件下的弊端如下：(1)通过克罗福身体部分灵巧测验、本特纳手动工具灵活性测验及九洞测验等方式，让被测试者在特定的环境下完成指定的实验动作来判断被测试者的手部精细动作是否符合某个成长节点。这种人工判断的方式依赖于经验，精度不够高。(2)通过摄像机获取手部姿态数据集，生成2D手部关节热图，输入训练模型，设计3D手部姿态识别模型，通过数据分析和训练指导模型，实时指导用户进行手部精细动作。但由于婴儿的配合度有限，可控性很低，无法根据提示来矫正动作，因此不适用于婴儿。(3)通过在测试者手臂和手掌上绑缚各种传感器的方式来获得需要的原始数据，通过分析测试软件来进行测评。这种方式精度很高，但是在婴儿身上绑缚仪器带给婴儿的不适感较强，对情绪和行为产生影响，会造成测量的不准确。

技术实现思路

为解决现有的手部精细动作的方式用于婴儿的手部精细动作识别会存在精度不高的问题，本专利技术提供了一种婴儿手部精细动作识别方法及系统。本专利技术通过下述技术方案实现：一种婴儿手部精细动作识别方法，包括如下步骤：S1：提取视频连续帧中的手掌的形状和轮廓；S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；S3：定义各手指指尖到手指根部的距离；S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4食指，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。

所述步骤S7具体包括如下子步骤：S71：在视频连续帧中，当监测到步骤S2中所述的任意两个关键点之间的距离发生变化，则开始对手部精细动作进行识别，并开始记录当前视频；S72：判断各手指关键点之间的距离与距离阈值之间的关系，判断双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角与夹角阈值之间的关系，综合判断婴儿手部的精细动作；S73：每判断出一个动作状态，记录该动作状态的维持时间和连续出现该动作状态的次数；S74：根据连续的婴儿手部的精细动作记录，判定婴儿手部的成长节点。所述步骤S72进一步包括：当L1～L5与H1～H5对应相等，则判定右手“手掌打开”；当L6～L10与H6～H10对应相等，则判定左手“手掌打开”；当L1～L5均对应小于H1～H5，且V1>α1且V2>α2且V3>α3，则判定右手“半开半握”；当L6～L10均对应小于H6～H10，且V4>α4且V5>α5且V6>α6，则判定左手“半开半握”；当L1～L5均

【技术保护点】

1.一种婴儿手部精细动作识别方法，其特征在于，包括如下步骤：/nS1：提取视频连续帧中的手掌的形状和轮廓；/nS2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；/n左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；/nS3：定义各手指指尖到手指根部的距离；/nS4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；/nS5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；/nS6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；/nS7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。/n

【技术特征摘要】

1.一种婴儿手部精细动作识别方法，其特征在于，包括如下步骤：

S1：提取视频连续帧中的手掌的形状和轮廓；

S2：选取并标记婴儿的手掌关键点：右手拇指指尖A1，右手拇指根部B1，右手拇指关节C1，右手食指指尖A2，右手食指根部B2，右手食指关节C2，右手中指指尖A3，右手中指根部B3，右手中指关节C3，右手无名指指尖A4，右手无名指根部B4食指，右手无名指关节C4，右手尾指指尖A5，右手尾指根部B5，右手尾指关节C5，右手手掌根部P；

左手拇指指尖D1，左手拇指根部E1，左手拇指关节F1，左手食指指尖D2，左手食指根部E2，左手食指关节F2，左手中指指尖D3，左手中指根部E3，左手中指关节F3，左手无名指指尖D4，左手无名指根部E4，左手无名指关节F4，左手尾指指尖D5，左手尾指根部E5，左手尾指关节F5，左手手掌根部H；

S3：定义各手指指尖到手指根部的距离；

S4：将婴儿手掌完全张开的状态标记为舒张状态，检测舒张状态下的各手指指尖到手指根部的最大距离阈值；

S5：定义双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角；

S6：将婴儿手掌完全握拳的状态标记为握拳状态，检测握拳状态下双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值；

S7：对视频连续帧中的手掌数据进行解析，通过婴儿各手指的关键点的距离以及与手掌的夹角，结合在先状态对当前的手部精细动作进行识别。

2.根据权利要求1所述的一种婴儿手部精细动作识别方法，其特征在于，

步骤S3所述的各手指指尖到手指根部的距离具体定义：右手拇指指尖A1到右手拇指根部B1的距离为L1，右手食指指尖A2到右手食指根部B2的距离为L2，右手中指指尖A3到右手中指根部B3的距离为L3，右手无名指指尖A4到右手无名指根部B4的距离为L4，右手尾指指尖A5到右手尾指根部B5的距离为L5；

左手拇指指尖D1到左手拇指根部E1的距离为L6，左手食指指尖D2到左手食指根部E2的距离为L7，左手中指指尖D3到左手中指根部E3的距离为L8，左手无名指指尖D4到左手无名指根部E4的距离为L9，左手尾指指尖D5到左手尾指根部E5的距离为L10；

步骤S4所述的各手指指尖到手指根部的最大距离阈值具体定义：右手拇指指尖A1到右手拇指根部B1的距离阈值为H1，右手食指指尖A2到右手食指根部B2的距离阈值为H2，右手中指指尖A3到右手中指根部B3的距离阈值为H3，右手无名指指尖A4到右手无名指根部B4的距离阈值为H4，右手尾指指尖A5到右手尾指根部B5的距离阈值为H5；

左手拇指指尖D1到左手拇指根部E1的距离阈值为H6，左手食指指尖D2到左手食指根部E2的距离阈值为H7，左手中指指尖D3到左手中指根部E3的距离阈值为H8，左手无名指指尖D4到左手无名指根部E4的距离阈值为H9，左手尾指指尖D5到左手尾指根部E5的距离阈值为H10；

步骤S5所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的夹角具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为V1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为V2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为V3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为V4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为V5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为V6；

步骤S6所述的双手拇指、食指和中指的指关节关键点与手指根部关键点所在的直线与手指根部关键点和手掌根部关键点所在的直线的最小夹角阈值具体定义：右手拇指关节C1与拇指根部B1所在的直线与拇指根部B1和手掌根部P所在的直线的夹角为α1，右手食指关节C2与食指根部B2所在的直线与食指根部B2和手掌根部P所在的直线的夹角为α2，右手中指关节C3与中指根部B3所在的直线与中指根部B3和右手手掌根部P所在的直线的夹角为α3；

左手拇指关节F1与拇指根部E1所在的直线与拇指根部E1和手掌根部P所在的直线的夹角为α4，左手食指关节F2与食指根部E2所在的直线与食指根部E2和手掌根部P所在的直线的夹角为α5，左手中指关节F3与中指根部E3所在的直线与中指根部E3和左手手掌根部H所在的直线的夹角为α6。

3.根据权利要求2所述的一种婴儿手部精细动作识别方法，其特征...

【专利技术属性】

技术研发人员：韦洪雷，杨睿，张健，黄延东，梁锐，申浩，崔宇，邹琳，李雪，刘晨，曹礼聪，李小焕，

申请(专利权)人：西南交通大学，四川乐健梦想家科技有限公司，秀王体育集团有限公司，

类型：发明

国别省市：四川;51

全部详细技术资料下载 我是这个专利的主人