一文读懂增强现实（AR)技术

随着信息技术的高速发展，虚拟现实、增强现实等逐渐火热。虚拟现实是一种完全建立虚拟环境，让人类脱离现有环境进入新的世界，它的广泛应用可能还要经过一段时间的积淀，目前虚拟现实主要在科研仿真、虚拟漫游、游戏娱乐、教育培训等领域发挥作用。而从虚拟现实中发展起来的增强现实，旨在增强人类能力，为人类提供各种辅助信息，成为沟通人类个体与信息世界的重要枢纽。目前已经在医疗、交通、教育培训、航天、通信、工业维修等领域发挥作用。相信增强现实的大规模应用会比虚拟现实更早一些，可能取代智能手机，成为下一代智能计算与显示平台，将物理世界与信息世界联系得更加紧密。这里，我们主要谈一下增强现实的相关内容。

• 结合真实与虚拟

• 实时交互

• 支持三维注册

1. 近眼式显示设备

   
   

   近眼显示设备主要是指头盔显示器。头盔显示器主要分为两种：光学透射式头盔显示器和视频透射式头盔显示器。当然如果按照显示器件数量，也可以划分为单目头盔显示器和双目头盔显示器。这里主要讨论光学式（左）和视频式（右）的区别。

   
   

   光学透射式头盔显示器是直接透射外界的光线，并且反射微投影器件产生的虚拟图像到人眼中，达到虚实融合的效果。优点是可以保证正确的视点和清晰的背景，缺点是虚拟信息和真实信息融合度低，且人眼标定比较复杂。目前市面上典型的光学透射式头盔显示器有Hololens和Meta2等。

   而视频透射式头盔显示器，是将固定在头盔上的摄像头所捕获的图像，通过视点偏移来显示到眼前的显示器上。优点是虚实融合效果好，无需标定人眼，缺点是视点难以完全补偿到正确的位置，且与镜片范围外的环境不能完美衔接。将上面的光学透射式头盔显示器，加上摄像头，并且把带有增强信息的视频直接全屏显示，就成为了视频透射式设备了。很巧的是，很多光学透射式设备，确实在其上加装了这种摄像头，但是它们的本意是用摄像头来作为跟踪模块的。

   
   

2. 手持式显示设备

   
   

   手持式显示设备，顾名思义就是拿在手上的显示设备。最常见的就是我们的智能手机和平板电脑。这类设备具有很好的便携性，是一种天然的AR设备。它们有摄像头作为图像输入设备，有自带的处理器，有显示单元，具备了进行AR开发的所有条件。在目前市面上，很多增强现实APP都是围绕这类设备开发的。

   
   

3. 固定式显示设备

   
   

   桌面级显示器，这是我们日常生活中最常见的一类显示器了。给它添加一个网络摄像头，就可以完成AR任务了。该摄像头可以捕捉空间中的图像，然后估计摄像头的位置和姿态，最后计算生成虚拟信息，并进行虚实融合，输出到桌面显示器上。这类设备适合做一些科研类的开发，对于商业应用显得有些笨重，比起手机和平板来说稍逊一筹。

   
   

   虚拟镜子，这是利用摄像头对着人进行拍摄，然后输出到一个类似于镜子的大型显示器上，给人一种照镜子的感觉。同时，还可以进行虚拟换装，或者添加一些虚拟物件，达到AR效果。

   
   

   还有一些固定显示器，类似于雾幕、水幕、全息膜等，在上面投影出增强信息，可以实现AR效果。

   
   

   
   

4.  投影式显示设备

   
   

   投影机是一种重要的虚拟现实和增强现实设备。最常见的基于投影的增强现实系统是在展会上的各种绚丽的投影展品，包括虚拟地球、汽车表面投影等。这类系统属于空间增强现实系统。另外，柱幕、球幕、环幕投影也可以归为基于投影的空间增强现实。

   
   

   投影机还可以用于构建CAVE系统。手持式投影机结合图像捕捉设备，还可以建立动态的空间增强现实系统。

小结与分析

2、跟踪技术

1.  固定式跟踪系统

   
   

   机械跟踪器通过控制机械臂各个关节的转动来跟踪机械臂末端的空间位置，属于比较老的跟踪方式，但是精度可以控制得比较高。

   
   

   电磁跟踪器是通过一个固定的发射源发射出三维正交的电磁场，接收端通过检测接收到的电磁场的方向和强度来确定位姿。

   
   

   超声波跟踪器则是通过测量一个声音脉冲从发射源到传感器的飞行时间来测量距离。

2. 移动式传感器

   
   

   GPS，全称是全球定位系统。这个系统在智能手机上应用很普遍。它通过接收多颗卫星信号来确定当前所处的位置。对于户外大范围增强现实有着重要意义。

   
   

   无线网是通过检测移动设备接入点信息来粗略确定移动设备所处位置的。它可以配合GPS使用。

   磁力计，也称电子罗盘，通过检测地球的磁场来确定方向。

   
   

   
   

   陀螺仪和线性加速度计都是依靠惯性来进行测量的。陀螺仪测量三轴角度变化，线性加速度计测量位置变化。它们通常会配合使用，并且常以微机电系统（MEMS, Micro-Electro-Mechanical System）的形式存在。

   里程计是通过轮式或者光电编码器来测量所走过路程的一种传感器，常用在机器人或者交通工具中。

   
   

3. 光学跟踪技术

   
   

   （1）跟踪模式

   
   

   有些跟踪需要对被跟踪的目标预先建模，例如一些图像跟踪工具箱。有的则不需要提前建模，例如同步定位与跟踪技术（SLAM）。多数跟踪是需要提前建立一个待跟踪模型数据库的，然后在运行中实时提取特征并且与数据库中的数据进行比对。而SLAM则可以实时根据获得的特征，自主建立空间地图，并且确定摄像头相对于环境的位置。

   
   

   目前研究的比较火热的是SLAM。因此，可以研究SLAM中的各个环节，从跟踪、建图、回环检测等角度研究如何提升SLAM系统的精度，以及面对复杂环境的稳定性问题。

   
   

   
   

   
   

   （2）照明种类

   
   

   跟踪的稳定性与环境光有关，尤其是基于视觉的跟踪。有些跟踪系统不需要自主添加光源，只是利用环境光，称为被动照明；有些跟踪需要主动发射某种照明光线，来实现其跟踪，称为主动照明。被动照明是比较常见的，例如平面标志跟踪就是在普通的环境照明下实现的。主动照明最典型的就是结构光照明，例如Kinect。还有一种主动发射红外光的OptiTrack系统，做姿态跟踪效果很好。

   
   

   
   

   （3）人工标志与自然特征

   
   

   人工标志指的是人造的用于跟踪的图像标志等。例如二维码、棋盘格等。自然特征指的是自然环境中本身就有的特征，不是人为放置用来跟踪的特征。普通的室内环境、街边的楼宇都可以认为是自然特征。人工标志根据其种类不同，需要特定针对性算法进行检测和跟踪，自然特征通常使用SIFT、SURF、ORB等特征描述子来进行特征提取和跟踪。

   
   

4.  传感器融合

   
   

   互补式融合：不同的传感器测量的是不同种类的参数，可以互相补充。

   
   

   竞争式融合：不同传感器测量的是同一个种类的参数，则使用某种方式将它们结合起来，产生一个更好的测量结果.

   
   

   协作式融合：不同传感器之间是协作关系，其中某个传感器可能依赖于其他的传感器才能得出结果。

小结与分析

3、标定和注册

1. 摄像机标定

   
   

   （1）标定内参数

   
   

   摄像头是基于视觉的AR系统的重要组件。所以在使用中必须先标定摄像头的内参数。对于普通的摄像头，可以采用matlab自带的摄像头标定工具箱来标定。不仅可以标定出摄像头的内参数，还能标定出镜头畸变。该工具箱采用的是棋盘格标定法。

   
   

   
   

   
   

   
   

   （2）校正镜头畸变

   
   

   镜头畸变可以分为径向畸变和切向畸变两种。它们也都可以通过标定来确定畸变参数。镜头畸变是普遍存在的，所以在使用之前要记得先进行标定。

   
   

2. 显示器标定

   
   

   （1）单点主动对准法

   
   

   对于光学透射式头盔显示器，要进行AR开发的话，必须加上一个摄像头。摄像头与头盔显示器之间的位置关系需要标定。最常用的一种方法是单点主动对准法（SPAAM）。这个方法要求用户佩戴头盔显示器，并且将屏幕上的一些十字光标与真实世界中的物体进行多次对齐，多次对齐需要通过头部转动完成。数据获取后，通过DLT方法构建方程组求解投影矩阵。

   
   

   
   

   （2）使用瞄准转置

   
   

   该方法需要将瞄准装置与显示器上的十字叉丝对准，而不是使用在SPAAM中用到的静止标定点。这种瞄准装置经常是作为AR设备的一部分，并且包括一个触发器来确认对准完成。瞄准装置有一个优势，用户不必再移动头部来完成对准，取而代之的是，可以通过移动手臂来完成。

3. 注册

   
   

   跟踪系统在进行测量的时候，会存在测量误差，导致位置估计不准。这种误差会导致注册的虚拟物体与真实物体之间会存在不匹配的情况。所以，在每一个步骤要严格控制误差，不要让误差在后面的环节中传播。

   
   

   对于光学透射式增强现实来说，还有另一个非常重要的问题，那就是延迟。由于真实的环境背景是直接透射进人眼的，可以认为是零延迟的。但是虚拟信息是通过摄像头捕捉环境，建立跟踪注册信息，然后渲染输出到头盔显示器上。这个回路的处理时间导致虚拟信息的渲染比头部转动会有延迟。一个比较有效的方法是在视觉跟踪的基础上，加入高反应速度的IMU，对这种延迟进行补偿。头部的快速运动可以根据IMU的反馈来渲染图像。

1. 几何一致性

   
   

   增强现实系统呈现的效果应该是虚实高度融合的，让人分不清哪里是虚的，哪里是实的。高度融合体现在虚拟物体被放置在正确的位置上，没有与真实物体产生错误的重叠。几何一致性还要求在时间变化中保证几何一致。例如，在光学透射式头盔显示器中，快速的头部运动会导致虚拟图像的渲染落后于真实的环境，导致图像延迟现象。这就违反了几何一致性要求。

   
   

   另外，虚实遮挡也要保持一致。有的时候虚拟的物体在空间上应该被渲染到真实物体的后面。但是默认情况下，虚拟的物体总会挡在真实物体的前面。因此，必须使用额外的传感器，探测出真实物体的空间位置，然后决定哪些虚拟图像是应该被遮挡起来的。

   
   

   还有一些研究人员对增强现实头戴式显示器的深度感知一致性做了研究。他们分析了使用双目头盔显示器看到的虚拟物体与真实物体在深度感知上的一致性。

   
   

   
   

2. 光照一致性

   
   

   虚拟世界的光线往往是认为设定的，但是真实世界的光线是非常复杂的。因此渲染的虚拟物体怎样保持与真实环境一致的光照效果，也是需要注意的。光照效果如果不一致，尤其是阴影的渲染不一致的话，会导致非常糟糕的效果。解决这个问题的途径是，通过某个方式获得真实环境中的光源分布，然后在虚拟世界中模拟这个光照效果。

1. 设备交互

   
   

   传统的交互最被大众熟知。鼠标键盘的几十年发展证明这种人机交互方式非常有效。但是对于增强现实应用，却不一定是最好的结果。一些被广泛用于虚拟现实的设备，例如数据手套、力反馈装置、数据衣等，也可以应用在增强现实中，但是加入这些装置后，会明显觉得环境不协调，对增强现实应用的效果有影响。

   
   

2. 肢体交互

   
   

   随着Kinect等设备的推出，肢体交互在投影式增强现实中获得广泛应用。肢体交互不仅解放了双手，而且促进了全身的均衡运动，可以理解为一种非常健康时尚的交互方式。因此，肢体交互在游戏娱乐领域获得了广泛的应用。

   
   

   
   

3. 手势交互

   
   

   很多桌面级的应用，也可以选择手势交互作为一种交互方式。手势交互依赖于手势检测设备，现有的手势检测设备有LeapMotion和RealSense等。这类设备极大地促进了手势在人机交互中的推广。

   
   

   
   

4. 语音交互

   
   

   随着人工智能技术的发展，语音识别准确度和效率明显提升。因此，语音交互也变得越来越普遍。

   
   

   
   

5. 触摸交互

   
   

   触摸交互是针对专门的触摸设备来的。其实触摸交互也算是比较早发展起来的了。大部分智能手机手势触摸屏，而且有些智能眼镜也在镜框上设置了触摸区域。

   
   

   
   

6.  眼动交互

   
   

   通过图像设备捕捉人眼运动，也可以实现人机交互。只不过这种方式仅仅适用于非常特殊的情况下，长时间的眼动交互会比较疲惫。

   
   

   
   

7. 脑机接口

   
   

   最新的人机交互方式莫过于脑机接口。它通过读取人大脑的活动，来产生控制信号，对外界的设备进行控制。目前还只能实现比较初级的控制，完全解读人脑意念信息还是任重而道远。

1. 创作

   
   

   增强现实可以用于创作小故事，运用该技术可以尽情发挥个人想象力，构建出自己的各种物品、房间乃至城市。

2. 导航

   增强现实技术可以应用于导航。将虚拟的导航信息叠加在真实的道路信息上，甚至可以将信息投影在汽车的玻璃上，最大程度为用户提供方便。

1. 协作

   增强现实技术可以为多个用户创建一个统一的协作平台，构建出一个虚拟的共享空间。多个用户不论是否在同一地点，都可以通过增强现实的方式实现资源和信息共享。

• 推荐阅读：增强现实技术（AR）的103个应用场景汇总
  

• 传感器技术的进步

• 显示技术的进步

• 计算能力的提高

• 社会信息网络的完善。

• 增强现实核心技术产业联盟（ID：CARA--2019）

• 内容来源：CSDN

• 作者：雁回晴空

• 原文链接：https://blog.csdn.net/zzlyw/article/details/64126088

• 编辑：增强现实核心技术产业联盟

重磅！3DCVer-学术论文写作投稿 交流群已成立

扫码添加小助手微信，可申请加入3D视觉工坊-学术论文写作与投稿 微信交流群，旨在交流顶会、顶刊、SCI、EI等写作与投稿事宜。

同时也可申请加入我们的细分方向交流群，目前主要有3D视觉、CV&深度学习、SLAM、三维重建、点云后处理、自动驾驶、多传感器融合、CV入门、三维测量、VR/AR、3D人脸识别、医疗影像、缺陷检测、行人重识别、目标跟踪、视觉产品落地、视觉竞赛、车牌识别、硬件选型、学术交流、求职交流、ORB-SLAM系列源码交流、深度估计等微信群。

一定要备注：研究方向+学校/公司+昵称，例如：”3D视觉 + 上海交大 + 静静“。请按照格式备注，可快速被通过且邀请进群。原创投稿也请联系。

▲长按加微信群或投稿

▲长按关注公众号

3D视觉从入门到精通知识星球：针对3D视觉领域的知识点汇总、入门进阶学习路线、最新paper分享、疑问解答四个方面进行深耕，更有各类大厂的算法工程人员进行技术指导。与此同时，星球将联合知名企业发布3D视觉相关算法开发岗位以及项目对接信息，打造成集技术与就业为一体的铁杆粉丝聚集区，近3000星球成员为创造更好的AI世界共同进步，知识星球入口：

学习3D视觉核心技术，扫描查看介绍，3天内无条件退款

 圈里有高质量教程资料、可答疑解惑、助你高效解决问题

觉得有用，麻烦给个赞和在看~