首页 >> 知识 >> 如何开发HoloLens 2远程视频空间标注

如何开发HoloLens 2远程视频空间标注

HoloLens 2上有一款微软出品的远程服务应用叫Dynamics 365 Remote Assist,想必大部分用户及开发者看过相关的宣传视频,它通过前方员工佩戴HoloLens与后台专家视频通话实现关键任务的远程协助。这套方案中一个比较大的亮点就是远程空间标注,它是实现远程精准指导的核心之一。但是Remote Assist尚未落地中国,国内的很多用户还无法直接使用,所以今天我就围绕这个话题,简单谈下如何开发远程协助标注功能。首先,让蜜桃成人网站入口来看一下Dynamics 365 Remote Assist 官方视频的几个经典画面 :

专家端使用RemoteAssist进行远程标注指导HoloLens端根据专家的标注及指导完成操作

该方案通过搭建音视频通讯,传输包含HoloLens空间矩阵信息的视频数据,经过HoloLens与Unity空间矩阵转换及2D标注到3D空间的转换实现远程空间标注。接下来,我将对音视频通讯和空间标注部分进行展开讲解。

一、音视频通讯方案

1. 基于原生的WebRTC进行开发微软官方Github已经提供了一个MixedReality-WebRTC的工程,这个对于熟悉WebRTC的开发者可以尝试,是否可以采用市场上成熟的第三方音视频SDK呢?目前主流的音视频SDK主要适配的是PC、Web、androids、ioses,针对HoloLens设备的UWP平台几乎没有,短期内各大厂家可能还不会适配UWP,WebRTC的方案需要适配所需要的各个平台,开发难度较高、工作量较大、周期长、成本高。

MixedReality-WebRTC

网站地图