本文来自“Rokid”，36氪经授权发布。
早在言语呈现之前，人类就习气运用肢体和手势，这种近乎天性的沟通办法，来相互沟通。
在机器被创造之后，手势因具有键盘、鼠标、触屏等交互办法所无法替代的天然优势，依然有许多运用场景。
在电影《钢铁侠》里边，主角一挥手，随便推拉拖拽操控虚拟物体，几乎不要太炫酷了。
做到像电影中那样高精度、安稳性好的手势辨认，需求硬件和算法的加持，两者缺一不可。
手势辨认都有哪些常见的硬件计划？工程师是怎么用 AI 算法来优化辨认作用的？常见的手势辨认运用场景都有哪些？接下来，就让 Rokid R-Lab 算法工程师张兆辉为咱们娓娓道来。
手势辨认的三大硬件计划
手势辨认的原理并不杂乱，它经过硬件捕获天然信号，就像相机捕获图片信息那样，然后经过软件算法核算得到手的方位、姿势、手势等，处理成核算机能够了解的信息。
现在手势辨认首要有以下 3 种硬件计划：
1、摄像头计划
常见的又分五颜六色摄像头计划和深度摄像头计划。
1.1 五颜六色摄像头计划
五颜六色摄像头计划只需求一个一般摄像头，捕捉拍照一张五颜六色图片，经过 AI 算法得到图片中手的方位、姿势、手势等信息。优势是设备本钱低、数据简略获取。
现在这种依据单目 RGB 的手势辨认在学术界和工业界研讨的比较多，商用的计划商有英梅吉、ManoMotion、虹软等。
还有一些人工智能敞开渠道相同供给这种计划。比方腾讯 AI 敞开渠道供给静态手势辨认和手部要害点，百度 AI 敞开渠道和 Face++ 供给静态手势检测。以及一些开源项目比方 openpose 和 Google Mediapipe 等。
图为 openpose 的手势要害点检测
比较深度摄像头计划，五颜六色摄像头计划缺少深度信息，受光照影响十分大，夜间无法运用，安稳性和精度都没有深度相机计划好。
1.2 深度摄像头计划
这个计划是经过深度摄像头来获取带有深度信息的图片。优势是更简略获取手部的 3D 信息，相对应的经过 AI 算法得到的手部 3D 要害点也愈加准确和安稳。但缺陷是需求额定的设备、硬件本钱比较高。
深度相机又分三大类：ToF、结构光和双目成像。
其间，ToF 和结构光得到的深度图比较准，但本钱比较高，多用于手势的科研范畴，商用的比较少，比方微软 HoloLens、极鱼科技 ThisVR。
双目成像由于视场角大，帧率高，很合适用来做手势辨认，仅有缺陷便是由于成像原理的约束，使得整个双目相机模组的体积比照 ToF 和结构光来说大许多。
选用双目成像的公司以现在最大的手势辨认公司 Leap Motion 为代表，该公司运用的是自动双目成像计划，除了双目摄像头外还有三个补光单元，可捕获双手 26DoF、静态手势、动态手势等。此外，Leap Motion 还供给了十分完好的 SDK，对各个渠道支撑都不错（除手机渠道）。
图为 Leap Motion 的演示
国内也有在做双目手势的公司，比方 uSens Fingo 是依据自动双目的视觉计划， 供给双手 26DoF、静态手势、动态手势辨认等功能。比较于 Leap Motion，uSens 更专心于对手机以及其他低功耗嵌入式设备的支撑。此外还有微动 VidooPrimary 也有依据双目的手势处理计划。
2、毫米波雷达
毫米波雷达计划的代表有谷歌推出的一款特别规划的雷达传感器—— Project Soli ，它能够追寻亚毫米精准度的高速运动，但现在尚处在实验室阶段。
从其发布的演示来看，现在能够辨认单个指定的手势，并在小规模内辨认细小准确的手势操作，很合适发挥人类精准的小肌肉运动技能（fine motor skills）。但缺陷是有用规模太小，无法得到手的一切自由度。[参阅谷歌Project Soli深化解析]
图为 Project Soli 的演示
3、数据手套
数据手套是指在手上带一个内置传感器的特制手套，经过传感器检测手指的屈伸视点或方位，再依据 Inverse kinematics（逆运动学）来核算出手的方位。
一般用到的传感器有曲折传感器、视点传感器、磁力传感器等。
曲折传感器和视点传感器类似都是可检测手指的曲折程度，咱们以 DEXMO 力反应手套为例，该手套运用旋转传感器捕捉 11 个自由度的手部运动，包含每根手指的扩展和曲折，以及大拇指一个额定的旋转自由度。
此计划对手的部分动作检测很准，而且不受视觉计划中视界规模的约束。但缺陷是手上有必要戴手套不便利，且只能检测部分的手指动作，不能定位手部全体的方位视点。若想要检测手的方位视点， DEXMO 需合作其他 6 自由度追寻器运用。
当然 DEXMO 的最大卖点其实不是手势辨认，而是传神的触觉反应（haptics）+手势辨认。手势辨认+触觉反应的计划必定会是今后人机交互的重要一环。最近收买 Leap Motion 的 UltraHaptics 便是一家做触觉反应的公司。
还有一种用磁力传感器的——trakSTAR 电磁式空间方位追寻体系。经过在手上贴的磁力传感器的磁场改动，来确认传感器的方位视点，再依据反运动学确认手的具体方位。
图为 trakSTAR 运用示意图
此计划需在手部贴 6 个磁力传感器（5个指尖+1个手背），并在面前放一个磁力发射器。磁力发射器会在必定规模内构成一个特别的电磁场，然后依据传感器在电磁场中不同方位视点检测到的电磁场强度的不同，来推断出指尖及手掌的方位视点。再经过反运动学，确认一切手部关节点的方位。
此计划的缺陷是有用运用规模太小，价格太贵，适用场景太少。长处是精度很高，安稳性很好，而且可获得手部一切自由度。
现在此计划还只要纯科研在用，最近几个学术界揭露的手势数据集 FHAB、 BigHand 都是用此设备搜集的。
图为 FHAB 数据会集的示意图
手势辨认的两类算法模型
经过以上科普，信任咱们对手势辨认的硬件计划有了开始的了解。但要想做好手势交互，仅硬件计划是不行的，还需求专业算法的支撑。
当咱们经过摄像头得到深度图后，下一步便是把深度图输入给算法，算法能够输出咱们手部一切要害点的 3D 方位。
手部要害点也能够了解为手部骨架的关节点，一般用 21 个 3D 要害点来描绘。每个 3D 要害点有 3 个自由度，那么输出维度便是 21*3。所以咱们常常用一个 21*3 维的矢量来描绘，如下图
图为可视化后的21个手部3D要害点
现在学术界现已提出各种算法用于处理“依据深度的手势姿势估量问题“，这些算法大体能够分红模型驱动（model-driven）和数据驱动（data-driven）两种办法。
1、模型驱动类算法
此类算法一般是预先用手部 pose（pose 指位姿参数或节点方位，后文将统称为 pose）生成一系列手的几许模型，并树立一个查找空间（一切或许的手势几许模型的调集），然后在查找空间内找到与输入深度图最匹配的模型。
此刻，模型对应的参数便是所求的 pose。此类算法归于生成式办法（Generative Approaches），咱们以下图中的论文为例：
模型驱动类算法一般需求规划一种办法把 pose 转换成对应的几许模型。
此论文用了 linear blend skinning（一种骨骼蒙皮动画算法）：意思便是给骨架蒙上一层皮肤，并让皮肤跟从骨骼运动一同改动，多用于动画范畴。
先把 pose 转换成对应的 mesh（下图左边），在进一步转换成润滑曲面模型（下图右侧）。咱们能够了解为 pose 是自变量，几许模型可由 pose 算出，且几许模型与 pose 一一对应。
图为手部几许模型
输入的手部深度图可转化为点云， 此点云就相当于在实在的手外表上搜集到的一些 3D 点，如下图中的红点和蓝点:
这样就能够界说丢失函数为点云中的点到模型外表的间隔（上图中的红线），以此描绘深度图和pose的类似度。丢失函数的输入是深度图和 pose，输出是差异度。丢失函数的输出值越小，阐明输入的深度图和pose越类似。
因而，只需在查找空间中找到令丢失函数最小的 pose 即为所求的pose。但因查找空间不能写成解析办法，无法一次性求出丢失函数的最小值，一般只能用数值核算办法，如PSO，ICP等，不断迭代核算得到最优解。
上图从左到右展现了迭代初期到迭代结束时的 pose，这种迭代的数值解法一般对初始化要求较高，若初始化的欠好，则需求很长时刻才干迭代收敛，还有或许无法收敛到大局最小值（由于丢失函数对错凸函数），所以算法完成时，一般运用上一帧的pose来初始化当时帧的核算。
这种模型驱动类办法需求手艺规划几许模型和丢失函数。简略的几许模型核算量小，杂乱的几许模型准确度高。一般规划模型时需求在准确度和功能之间做权衡。
图为不同的手部几许模型
模型驱动类的算法优势是不需求任何练习数据，只需规划的好，写完就能够直接用。 缺陷是需求手艺规划模型，核算量较大，简略差错累计导致漂移，对初始化要求高，一般只能用在手势追寻范畴。
2、数据驱动类算法
此类算法是指运用搜集数据中练习样本与其对应的标签联系，让机器学习一个从样本到标签的映射。 此类算法归于判别式办法（Discriminative Approaches）。
这样的机器学习算法有许多，能够是前期运用的随机森林，SVM 或是最近研讨的炽热的神经网络等。此类办法的长处是不需求规划杂乱的模型，缺陷是需求大数据。但现在大数据年代数据量现已不是问题，这种数据驱动的办法现已成为现在的干流研讨方向。
前期学术界研讨手势要害点回归的经典办法有 Cascade regression， Latent Regression Forest 等。近些年研讨首要会集在各类神经网络如：DeepPrior 系列、REN、pose guided、3D-CNN、Multi-View CNNs、HandPointNet、Feedback Loop 等。
由于此处评论的用于手势的神经网络与一般的图的神经网络并无实质差异，而神经网络的科普文章现已许多，这儿就不做科普了，咱们仅挑几个有代表性的网络结构介绍一下:
DeepPrior：网络结构大体如下图，经过初始网络得到大略的 pose，再用 refine 网络不断优化， 而且在最终的全衔接层前加了一个低维嵌入，迫使网络学习把特征空间压缩到更低维度。 此网络后续有更优化的版别 DeepPrior++。
Feedback Loop：网络结构如下图，此网络在猜测 pose 之后，反过来用 pose 生成深度图，并与输入的深度图一同猜测更优的 pose，此 pose 又可用来生成更优的深度图，以此迭代循环优化pose。
3D CNN：网络结构如下图，此网络把2D深度图上用像素的描绘的深度信息，以TSDF的办法转化为体素（3D的像素），并用3D 卷积替代了一般的2D卷积。
此处最大的奉献便是在网络结构上从2D走到了3D，由于传统2D卷积网络是为2D图画规划的，并不必定合适3D信息的提取，而用3D卷积网络则更简略获取3D特征，也就更适用于3D手部要害点回归的问题。
HandPointNet：网络结构如下图，此网络输入时把深度图转成点云，然后用 PointNet 做手部 3D 要害点回归。
HandPointNet的首要奉献是初次把PointNet用在了手势要害点回归上，其间的PointNet是很有代表性的网络。PointNet 初次用 3D 点云来作为网络输入而不是 2D 图片。
PointNet 比上一个介绍的 3DCNN 更进一步探究了在 3D 空间中的神经网络架构，以及怎么更有用的提取 3D 特征，PointNet后续有更优化的版别PointNet++。
手势辨认的四大运用场景
上述咱们介绍了常见的手势辨认硬件计划与算法模型，那么手势辨认真实落地的运用场景都有哪些呢？
许多人或许以为手势交互还仅仅停留在科幻电影的概念罢了，接下来，咱们以产品运用为例，来介绍一些现已商业落地或潜在的落地场景。
1、VR手势
以 Leap Motion 为代表的许多公司都在做 VR+ 手势。 VR 着重沉溺感，而手势交互能够极大的进步 VR 运用中的沉溺感。所以 VR+ 手势这个落地方向很靠谱，等 VR 得到遍及后，定会改动人类的文娱办法。
此类代表产品：LeapMotion、uSens、极鱼科技等。
2、AR手势
以 HoloLens 为代表的许多公司都在做 AR 眼镜。AR 眼镜或许会脱离实体的触屏和鼠标键盘这些输入东西，取而代之的输入是图画和语音等。此刻手势交互便必不可少，不过 AR 还处在比 VR 商场更前期的阶段，需持续堆集技能，等候商场老练。
此类代表产品有：HoloLens、Magic Leap、Rokid Glass、Nreal、Project North Star、亮风台等。
图为 Leap Motion Project North Star 的演示片段
3、桌面手势
以 Sony Xperia Touch 为代表的投影仪+手势辨认，将屏幕投影到任何平面上，再经过手势辨认模仿触屏操作。
这儿用到的手势辨认比较简略，根本只需辨认单点多点。但运用中手很简略挡住投影仪显现的屏幕，而且还有显现清晰度的问题。此场景或许更多的是一种探究，落地的或许性较小。
不过能够开个脑洞：如果把这儿的平面手势辨认改成空中手势辨认，平面投影改成全息 3D 投影，那就能够完成文章最初说到《钢铁侠》里的全息操控台了。
空中手势辨认现已能做到了，但现在还没有真实的全息投影的技能，只要一些伪全息投影。如反射式和电扇式的伪全息投影。
反射式伪全息投影仅仅把物体的印象反射到反射面板（塑料板）后成一个虚像。因板子通明，所以看起来似乎是在空中直接成像。电扇式伪全息投影是运用人眼的视觉暂留现象，让画面看起来像是直接在空中成像。
上图为反射式伪全息投影
上图为电扇式伪全息投影
这些伪全息投影的最大问题便是无法用手和虚拟印象交互。想要完成《钢铁侠》里边的全息作业台，最有或许的办法是在 AR 眼镜里边完成，只需把核算得到的手势位姿和显现设备联合标定对齐，就能够完成手和虚拟印象的交互了。
此类代表产品有：Xperia Touch、光影魔屏等。
4、车载手势
车载手势指的是在开车时用手势交互操控中控台的一些选项按键等。比较于传统办法，手势的优势是不必每次都去按按钮或戳屏幕，更智能便利。
在运用触屏时，司机需求看着屏幕才知道按钮在哪，看屏幕这一动作，有极大的安全隐患。 而手势能够合作语音反应直接操作，不需求盯着屏幕。
车载手势能够必定程度进步驾驭安全性，但它也有一些缺陷，在空中做手势简略手累， 再加上手势辨认的准确性和推迟问题，远不如直接用手曩昔转转按钮、点点屏幕来的便利。所以现在业界根本都选用的都是传统办法+手势操作辅佐的办法。
此类代表产品有：宝马7系、拜腾轿车、君马SEEK 5等。
结语
AI 年代，语音辨认和手势辨认等交互办法的参加，让咱们与机器有了更多互动的或许。语音交互在人工智能年代现已有了先发优势，正在被逐步落地而且有望大规模运用。而从手势辨认的落地场景来看，这种交互办法还处在职业前期阶段。
但能够预见的是，手势交互是未来人机交互必不可少的一部分，Rokid 一向致力于 AI 人机交互的研讨与探究，代表产品有智能音箱以及 AR 眼镜，希望能在 AI 年代为用户带来天然友爱的交互体会。
在你的幻想中，还有哪些场景能用到手势交互呢？欢迎咱们留言评论。
作者介绍：
张兆辉，浙江大学竺可桢学院求是科学（物理）本科毕业，首要研讨方向包含手势辨认，姿势估量，立体视觉，深度学习等，现就职于 Rokid R-Lab 图画算法工程师，担任手势算法研制等相关作业。
