VR产业背后的技术支撑是什么,没有沉浸式音效的

来源:http://www.roro2.com 作者:必威技术 人气:61 发布时间:2019-11-05
摘要:原标题:VR产业背后的技术支撑是什么? 一直以来2016年被誉为虚拟现实(VR)爆发元年,知名信息技术及科技咨询公司IDC预测,2016年我国虚拟现实设备出货量将达到48万台,同比增长

原标题:VR产业背后的技术支撑是什么?

图片 1

一直以来2016年被誉为虚拟现实(VR)爆发元年,知名信息技术及科技咨询公司IDC预测,2016年我国虚拟现实设备出货量将达到48万台,同比增长476%,行业迎来爆发增长。无独有偶,来自Digi-Capital的报告显示,2015年,投资者对虚拟现实和现实增强领域的投资总额接近7亿美元。可见,中国乃至全球虚拟现实市场正迎来爆发。

YouTube推出VR直播服务 可支持3D音效

来自 凤凰科技 2016-04-19 海外

最近几年,随着技术的发展,VR(Virtual Reality)跟人工智能一样,火的简直不能再火了。其带来的视觉上的冲击、沉浸式的感官体验有很多人跃跃欲试,于是不少公司开始做VR,结果看起来容易,做起来却是步履维艰。

对大部分设计师来说,VR 是一个全新的领域。VR 中关于 UX (User Experience) 的研究并不多。这个时候要提出类似 Web 时代的用户体验要素,还为时尚早。不过我们可以试着总结一下,影响 VR 中用户体验的要素可能会有哪些。

虚拟现实技术将在许多方面影响和改变这个世界。包括人们的娱乐需求、沟通需求、工作方式,未来可能很少有行业能不受VR技术的影响。但是就目前的中国市场来说,大部分的VR设备都仅仅只是一个手机盒,只在于看,而忽略了听。实际上,没有沉浸式音效的虚拟现实是不完整的。尽管你可以戴着一台头显从视觉上被传送到另一个世界,但缺了3D音效你的幻想很快就会被打破。

[ 转载自 凤凰科技 ]

图片 2

VR发展越来越快,YouTube不甘落后。北京时间4月19日消息,YouTube正式推出直播流媒体360度视频服务。YouTube宣布,加州切科拉音乐节(Coachella)的部分音乐会将会通过VR直播。

行业人士认为,YouTube的创新将会大幅提高VR体验的水平。在最近举行的拉斯维加斯全美广播电视协会展会(NAB Conference)上,一些新的VR产品亮相,YouTube宣布提供VR直播服务的时间点刚好和大会一致。在展会上GoPro、Adobe、Sky Italia都展示了新技术。

一年前,YouTube开始允许用户播放360度互动视频。如果是在笔记本上观看,用户可以用鼠标调整视角。如果是在智能手机或者VR头盔上观看,体验更加沉浸,因为视角的改变可以和设备的移动保持一致。但是到目前为止视频必须先上传到YouTube,处理之后才能播放。

YouTube已经在网站上强调预制360度视频。用户如果拥有兼容的360度摄像头,家里的宽带速度达到10Mbps至20Mbps,就可以上传并广播视频。YouTube的举动超前Facebook一步,Facebook用户可以上传360度视频片段,也可以进行流媒体直播,但二者无法结合在一起。

企业咨询公司Lewis的分析师克里斯·格伦(Chris Green)认为:“我们已经看到许多人对VR感兴趣,因为廉价VR头盔迅速飙升,这些头盔将智能手机当成屏幕使用。行业已经进入攻城略地的阶段。YouTube、Facebook正在全速前进,它们都想尽早掌握话语权,很快其它一些企业也会进入。”

为了获得竞争优势,YouTube还准备为视频增加立体声录音,也就是我们常说的“3D音效”。3D声音用特殊麦克风录制,它可以和观看的视角匹配,模拟音源并让声音在用户的头部移动。很显然,3D音效可以带给用户更好的临场感。

在拉斯维加斯的展会上,许多新的视频制作技术登台亮相。纽约大学音频专家加文·卡尼(Gavin Kearney)认为:“当我们用眼睛观看时,视角最多120度至180度,因人而异。但是声音却是全方位的,它可以环绕在我们周围。声音在VR中的份量很重,因为它可以为用户带来更现实的沉浸体验。如果视觉图像很好而提示音频差劲,你所创造的现实幻觉就会被破坏。相反,如果配有良好的双声道音频,可信度无疑会增强。”

要体验3D音频效果,用户必须带上耳机;在最开始时,只有通过YouTube Android应用观看预制片段才能感受到3D音效。

其实做VR需要很多的技术,下面我主要从大方向上指出其技术支撑。

先想想这样一个问题:

沉浸式音效是虚拟现实重要的一部分。根据更新日志,Google Cardboard平台开始支持空间音效,让虚拟现实体验更具沉浸感。开发者可以利用最新的空间音效的应用程序编程接口API来跟踪定位声源、为用户提供3D沉浸式音效体验。新API还含有大脑对噪音的处理,比如左边发出的声音传到你右耳,不仅仅是延迟问题,中间的头颅还会减弱声音中某些高分贝元素。谷歌还允许开发者深度调整修改虚拟场景中的声学设计。

图片 3

什么样的体验,是好的 VR 体验?

可以从哪几个维度去评估呢?

1月20日在广州举办的新一期小树苗创业营中,小宅科技CEO胡小敏就表示:沉浸式音效是虚拟现实重要部分,小宅眼镜已经做到第四代了,每一代的交替都是为了将手机VR做得更人性化。人性化不仅表现在VR技术对用户视觉体验的提升,也包括听觉方面。小宅Z4是国内首款量产集视觉和听觉系统一体的全沉浸式手机VR头盔。不仅是生理上的视听需求,小宅还注重用户心理需求的把控,以高产量化的方式带来低成本高效率的解决方案,让用户可以以极低的价格体验VR技术。

视觉方面:

00 试着先用两个维度来概括:舒适度和沉浸感。不一定正确、全面,只是作为梳理的线索,欢迎大家补充。

当你戴着虚拟现实眼镜,以为自己在火星上行走的时候,耳边传来还像是老式电视机里放出来的声音就不妙了。听觉是能够引导视觉的,3D音频将会增强达到的虚拟现实效果。沉浸式音效是虚拟现实环境下沉浸式体验的关键,听觉能占到沉浸式体验的50%。

现阶段,主流的VR头盔在分辨率上均有不同程度的提升,但硬件上屏幕的显示功能无法达到我们人眼的分辨率,因此戴着看东西很容易看到像素点,这对使用体验来说有很大影响。所以如果要发展VR,在视觉上需要的计算机视觉、图像压缩编码和3D渲染技术等必不可少。

图片 4

音频方面:

舒适度

这个就好说了,举个例子,一个人在你正前方5米处对你说话,此时的音效和两个耳朵听到对方说话的音量是相同的,你向右转90度,此时左耳听的清一些;那再向前走2米到一堵墙后面,此时就复杂了,有没有声音透射过来,材料的投射率,大部分折射过来的声音的折射路线,以及折射率,周围环境音效等,当考虑的因素越接近现实,这个问题就越复杂。因此3D定位音频技术必不可少。

减少眩晕

体验过 VR ,特别是早期设备的人,除了惊异于沉浸的体验之余,多少会感到不舒服 —— 有点眩晕,头盔挺沉的,手臂僵硬……

图片 5

舒适度是 VR 用户体验的第一要素(因为实在还说不上舒适)。“晕 VR” 目前还是普遍现象,相信随着对晕动症 (Motion sickness) 研究的深入和技术进步,在 VR 中的舒适感会持续提升。可以想象,VR 中的应用尤其是游戏,需要提供关于 3D、运动等舒适度的选项,帮助那些生理反应更敏感的用户调整到最优的个性化体验:

图片 6

游戏 Smash Hit Plunder 中的 VR 舒适度选项

比如,在迷宫类的 VR 游戏中,可以提供运动时的 “关灯” 模式,降低运动时画面的亮度,甚至隐藏空间画面,只提供必要的指引信息,这样可以最大程度减少因为动画带来的眩晕感。

运动追踪:

降低延迟

延迟一直是 VR 中的技术难题。延迟来自信号传递、屏幕刷新和计算机读取延迟。主要指标是延迟率: VR 头盔显示设备的视觉观测与头部运动的匹配程度。分为帧间延迟和帧内延迟。帧间延迟指头部转动经过的画面中每一帧之间的处理与显示时间。而帧内延迟是指人头转的时候,构成画面帧的像素点在每一帧结束时会跳回原点,这时候,人眼的视觉暂留现象会保留上一帧和这一帧的图像,产生拖影现象。

在头显设备中,图像都来自即时渲染,所以延迟很容易被感知。从下图可以看到,VR 应用中,运动检测需要大约 200 毫秒,传输需要约 200 毫秒,渲染成像需要约 200 毫秒。如何降低延迟率,将是 VR 体验的关键。

图片 7

戴上VR头盔,你往哪看景就往哪动,嗯,表面看起来也非常简单。但你要真这么觉得,那就错了。墨菲定律说:事物往往没有表面上看起来这么简单。对于VR这一第一人称交互设备,有好多人玩的时候都会晕,是真的晕眩。这主要是因为画面没有精准地跟踪你的头部运动而造成的晕眩,就像晕车一样。因此,延迟对于VR来说相当致命,而如何降低延迟,更加精妙的优化,更加彻底的榨干GPU的性能则是研究的进攻点。

沉浸感

除此之外,VR还需要许多例如接口等技术的支撑,没有这些技术底子直接制作VR产品恐怕有点难。

物体细节

图片 8

VR 不是真实世界的镜子,但是用户在虚拟世界中的预期,绝不会低于真实世界。简单到一张桌子,一级阶梯,都应该具备相应细节,让人形成(至少是被建构的)“真实”的感觉。在 VR 场景中,不再能够像过去 2D 界面一样,通过“进入二级页面和返回”的方式,来限定画面展示和互动层级 —— 用户拥有更大的自由探索空间,向着任意方向移动,预期着看到所有可见物体的细节。

以上就是我对VR产业背后的技术支撑这一问题的解答。返回搜狐,查看更多

界面元素

VR 中的界面元素,比如人物属性、按钮等,应该融入在 VR 场景中,或者集中展示在某个区域,而不能像桌面/移动端游戏中那样跟随着人或物品移动。

在 2D 世界中,界面元素是平面化的,但是在 VR 中,用户视野和视角很多样,所以菜单、按钮这些界面元素,也应该跟随视角变化,而不是生硬地把一块 2D 补丁甩在 3D 场景里。

图片 9

目前,VR 设备的分辨率还不理想,菜单、按钮等界面元素需要适当放大,变得更显眼。

责任编辑:

音效

让人感觉身临其境的音效和音乐,是沉浸式体验的助推器。打造优质的 VR 体验,需要更专业的音乐人、音效师和技术(例如Wwise)参与进来。Oculus 也放出了音频的 SDK。后续的文章我们再深入讨论 VR 中的音效。

运动

在 VR 的世界里,用户和环境之间障碍已扫除,界面的边界被完全打破,移动也就变得复杂起来。

不同场景下的运动方式不同,应该让用户坐着还是站立?应该让场景环境移动,还是让用户移动?运动空间如何设计?运动范围如何限制?怎么样的运动路径和范围,对人体尺度而言最舒适?这些都是需要仔细考虑的问题。

图片 10

交互

在 VR 时代,鼠标和点击操作对象都已成为过去。新的交互方式层出不穷:手柄、手套、光学追踪隔空手势、座椅、……大浪淘沙后,哪些方式会最终沉淀下来成为行业标准呢?现在下结论还为时过早,我们需要不断地尝试和测试。

图片 11


这篇文章从舒适度和沉浸感两个维度出发,整理了 VR 中影响用户体验的要素:眩晕,延迟;物体细节,界面元素,音效,运动,交互等。当然,这只是一篇粗糙的整理和思考,希望大家一起讨论和完善!

相关文章:
VR 学习图谱

本文由必威发布于必威技术,转载请注明出处:VR产业背后的技术支撑是什么,没有沉浸式音效的

关键词:

最火资讯