今年十月初,NBA向视频订户作出承诺,2016-17赛季的25周比赛中,每周都有一场比赛将会使用虚拟现实技术转播,订户可以自主选择观看,这在美国职业体育大联盟中还是首次,一次里程碑式的直播,宣告虚拟现实技术正式走入体育直播业内。

其实,自基于虚拟现实技术的直播方式问世以来,人们就不断地寻求更加完善、更加高品质的直播方式,今天小V带你一起来了解VR直播的流程和技术难关。

VR直播借助虚拟现实技术,使画面播放跳出了传统平面视频的视角框定,从直播方到观看方都采取了不同以往的操作模式,在VR全景直播中,是由用户来决定看到的内容,而不是内容决定用户,直播方只负责将现场发生的全部以360度的全景模式提供给受众。

不可否认的是,就目前的发展情况来看,虽然VR直播并不能取代如PC、电视等传统的媒介传播方式,但VR直播所带来的前所未有的沉浸感、现场感和交互感的确会颠覆人们体验视频的方式,这是一种前所未有的视觉盛宴。

VR直播流程

简单来说,VR直播一般包括以下四个部分,完成这四步,就可以做到VR直播:

全景采集

视频拼接(包括合成、渲染)

内容传输(云端处理和分发)

终端输出

但是,在整个直播的过程中,由于受到直播速度,画质等各方面的要求,以及技术方面的限制,VR直播并不是这么容易完成的。在整个直播过程中不可避免的遇到很多挑战,主要有以下几点:

1. GPU快速处理优化。

2. 来自网络的波动。4K 播对网络要求很高,网络波动时做4K直播,无法根据网络进行优化。

3. 音视频同步。VR直播时,视频和音频不一样,视频要把6路、8路或者是12路信号进行实时拼接,再加音频口进行混合推流,这时会出现不对等现象。

如何做到实时拼接?

VR直播区别与普通直播最重要的部分就是视频的拼接,包括合成渲染的技术,这也是目前VR直播最需要注意和解决的一大问题,以下四个步骤,帮助我们更轻松地解决实时拼接。

1. 4路及以上的1920x1080/30fps实时处理。一般来说要达到1920×1080/30fps,会用3.0 HDMI接口。

2. CUDA并发处理运算。CUDA是一种通用的并行计算架构,该架构使GPU能够解决复杂的计算问题。

3. 硬编解码。做4K的时候经常会遇到硬编码,也是显卡编码。

4. 多种输出格式,包括SDI切换台、RTMP流、HTC眼镜等。SDI切换台应用比较广泛,比如春晚的时候,可能有3-4个机位是通过有SDI的接口输出到切换台,由切换台选择哪个路流进行推流,所以SDI切换台可以做视频编辑,加字幕、文字等等。HTC眼镜就是PC VR的眼镜,眼镜端在PC电脑上,拼接好的数据直接推到眼镜上面,在直播的时候需要一个一体机,用户戴上HTC的眼镜就可以在漫游360度视频。

 

如何做到高清码率秒开?

做4K的时候,不仅要解决快速打开视频的问题,还要解决推流问题,因为首帧时间、大小等因素直接影响最后秒开的速度。此外,编码、带宽、网络波动、4K码流的要求等,也会影响秒开速度。

要做到直播高清码流首先要注意以下几点:

1. 必须优化H.264的首帧,在远程播放的时候,首次缓存更多帧下来,就可以让直播变得更流畅。

2. I帧、B帧 和P帧,一般的相机只有I帧或者是P帧,不会有B帧(B帧是一个动画帧,影视设备才有,普通的手机或者是硬件基本不会有),如果推流的时候音视频不同步(一般是视频里面插了一个B帧),多一个帧就会造成多一个网络数据。

3. 优化GOP数据。一个GOP就是一组连续的画面。

4. 因为推流对网络结点要求很高,做VR直播的时候要提前沟通好网络结点,看终端推流端到终端的延时大概要多久,然后优化网络结点。

VR直播的前景非常广阔,随着技术的成熟,VR直播会被越来越多地应用到不同的领域,这是目前VR业内普遍认同的观点。2016年,VR+直播给了我们一种全新的直播方式,但是问题在于,用户对VR直播没有强烈的需求,厂商也无法让用户在体验设备之前就产生这种需求,更遑论后续的需求愿望。这也就是说,VR直播的生态尚未形成。目前,受众更期待技术难点的攻克带给我们全新的VR直播。