Component

组件

ToF AR 组件

ToF AR所提供的组件概要的介绍。详细的说明和数据格式,
请参阅开发指南中的ToF AR reference articles

ToF

提供访问ToF相机的Depth数据、Confidence数据和PointCloud数据的功能。

  • [主要功能]
  • 数据获取
  • 数据显示
  • ToF相机控制(帧率、曝光时间的更改等)

色彩

提供访问RGB相机数据的功能。

  • [主要功能]
  • 数据获取
  • 数据显示
  • RGB相机控制(分辨率、自动对焦、自动曝光、白平衡设置等)

平面

提供实时识别Depth相机图像中包含指定点的平面的功能。

  • [主要功能]
  • 获取平面信息
  • 在Unity场景中动态创建对象

最多可以同时8个识别设置进行指定/获取。如果指定null或设置列表的元素数为0时,则不会执行平面识别。

网格

提供从Depth相机图像中实时生成3D网格的功能。

  • [主要功能]
  • 获取顶点和三角形数据
  • 在Unity场景中动态生成Mesh对象
  • 控制网格的轻量化
  • 生成不包括由Segmentation组件生成的遮罩部分的网格

坐标

提供不同分辨率的Depth相机图像、RGB相机图像,以及3D相机之间的坐标相互转换功能。通过访问组件属性,可以获取转换后的坐标数据。

手部

提供从ToF相机图像中实时识别人手或手指关节位置的功能。

标记识别

提供识别任意二值图像中的标记的功能。

  • [主要功能]
  • 识别图像中的标记

建模

提供合并多帧的ToF相机Depth数据并生成3D网格数据的功能。

  • [主要功能]
  • 启动/结束3D建模处理
  • 设置3D建模参数
  • 数据输出
  • 生成不包括由Segmentation组件生成的遮罩部分的网格

ARFoundationConnector

在Unity Project中AR Foundation和ToF AR可以共存。这时,ToF AR不会直接控制底层的相机,而是使用从AR Foundation获得的RGB和ToF相机输出的数据帧来进行手部和身体识别等处理。因此,无论是否使用AR Foundation,应用程序开发者都可以从ToF AR获得相同接口的数据帧。

身体

提供与身体识别相关的处理并获取识别结果数据的功能。

  • [主要功能]
  • 从ToF相机图像中识别身体
  • 显示身体识别结果
  • 识别身体姿态

HumanDetector

提供从Color相机图像中推测人体部分并创建遮罩纹理的功能。

AR Foundation 人体模版/ 人体深度

提供从AR Foundation获取人体模版数据和人体深度数据并创建遮罩纹理的功能。仅在iOS上可使用。

面部

提供面部识别相关的处理并获取识别结果数据的功能。

  • [主要功能]
  • 输出符合AR Foundation格式的面部识别数据和BlendShape数据
  • 显示面部识别结果
  • 显示视线识别结果

Segmentation

提供与Segmentation识别相关的处理并获取识别结果数据的功能。

  • [主要功能]
  • 从彩色相机图像中估计天空部分并创建遮罩纹理(使用SkyDetector时)
  • 从彩色相机图像中估计人体部分并创建遮罩纹理(使用HumanDetector时)

SkyDetector

提供从彩色相机图像中估计天空部分并创建遮罩纹理的功能。

可以选择满足开发
需求的ToF AR

ToF AR扩展了各平台提供的功能,以实现更高的性能。请参阅下表了解各平台支持的ToF AR组件。

SDK ARCore ARKit ToF AR
Developer Google Apple Sony Semiconductor Solutions Group
Platform Android iOS Android, iOS
SLAM
Plane detection
Light estimation
Face tracking
2D image tracking
3D object tracking
Meshing
2D & 3D body tracking
Human segmentation
Human segmentation ✓(Fused)
3D hand joint tracking
Hand pose recognition
Hand gesture detection

✓ = Verified from each developer's publicly accessible information.