google、三星、arm和开放媒体联盟联手打造eclipsa audio,重新定义音频体验 -奇异果app官网下载

google、三星、arm和开放媒体联盟联手打造eclipsa audio,重新定义音频体验 -奇异果app官网下载

通过新的开源技术,eclipsa audio 重新定义声音,打造三维音频体验

试想一下,你正坐在客厅里观看电影,此时画面中有一架直升机飞过,你可以听到直升机的声音仿若就在你头顶上方移动,从房间的一侧到另一侧,营造出真正身临其境的观影体验。得益于基于沉浸式音频模型和格式 (iamf, immersive audio model and formats) 的新开源音频技术 eclipsa audio™,上述的听觉体验已能实现。无论是搭配了高端电视的高档影院系统,还是入门级移动设备和电视,该技术能够在多种常见消费电子产品中快速高效地处理此类需求。

该技术于今年国际消费类电子产品展览会 (ces) 上推出,由 google、三星、arm 和开放媒体联盟(开发了 av1 视频格式的组织)共同打造。

什么是 eclipsa audio?

eclipsa audio 是一种多声道音频环绕格式,利用 iamf 技术提供沉浸式聆听体验。该技术通过垂直和水平传播音频,革新了听觉体验。这种三维音景高度模拟自然环境,使电影、电视节目和音乐中的声音表现更为生动逼真。

eclipsa audio 会根据不同场景动态调整音频,从而确保呈现最佳音质。此外,该技术还提供定制功能,使听众能够依据个人偏好调节声音,进而获得个性化及独特的听觉体验。

一个 eclipsa audio 比特流最多可以包含 28 个输入通道,这些通道被渲染到一组输出扬声器或耳机。这些输入声道可以是固定的,如管弦乐队中的麦克风;也可以是动态的,如动作电影中直升机穿过声场。

eclipsa audio 具备双耳渲染功能,这对于通过耳机提供沉浸式音频的移动端应用至关重要。此外,这种新的音频奇异果app官网下载的技术支持跨消费类设备进行内容创建,使用户能够自行构建沉浸式音频体验。

arm 与 google 在 iamf 开发的合作历程

在 iamf 开发过程中,arm 作为战略奇异果app官网下载的合作伙伴,与 google 团队密切协作,以优化该技术的性能。arm 的工作重点在于提高 opus 编解码器和 iamf 库 (libiamf) 的效率,确保其在当今广泛应用于移动设备和电视中的 arm cpu 上实现最佳性能。

自 2005 年以来,arm cpu 已经集成了 neon simd 扩展,并且在此之后取得了显著发展,使得音频和视频处理等数字信号处理 (dsp) 任务实现了性能跃升。针对 iamf,arm 的工程师致力于技术优化,使其能够在最低 cpu 使用率下实时解码复杂的比特流,如此一来,即使 cpu 正在处理体验中的其他任务,也能确保可靠的性能。这对于注重能效的移动端应用尤为重要。

性能增强

arm 一直在为 opus-codec 和 libiamf 升级补丁,专注于浮点实现,以实现最佳性能。这些增强包括:

•neon intrinsic 优化:该优化支持多种 arm 架构(包括 armv7 neon、armv8-a32、armv8-a64 和 armv9),从而加速了浮点到 int16 的转换和软削波。此外,还为多通道扬声器输出中的矩阵乘法和通道解压缩提供了 cpu 特定的优化。

•性能提升:在 quartz64 和 google pixel 7 等设备上,不同扬声器配置(如立体声、5.1、9.1.6)都有显著的性能提升。举例来说,9.1.6 的输出在 pixel 7 的 arm cortex-a55 cpu 核心上性能提升超过了 160%。

•解码效率:经优化后,所有测试文件在 aarch64 上的解码时间少于实时的 16%,而在 aarch32 上则少于实时的 23%,使其在 cortex-a55 处理器上极为高效。

核心技术

iamf 支持多种音频编码格式,包括 lpcm、aac、flac 和 opus。其中,opus 是当前最时新的编解码器,通常被认为是首选。arm 针对 arm 架构对 opus 进行了进一步优化,从而确保其在 iamf 框架内高效运行。

iamf 库 (libiamf) 负责解码 iamf 比特流,并为各类音响系统生成扬声器输出。arm 引入了一种 cpu 专用化框架,通过编译时特征检测,确保该库针对其运行的平台进行了优化。

通过对 opus 编解码器和 libiamf 库等关键组件进行优化,arm 的工程师确保了 iamf 在 arm cpu 上能够提供卓越的性能。这不仅提升了用户体验,也体现了 arm 的技术在前沿应用中的重要价值。

开放媒体联盟支持的 iamf 开放标准方法,与 arm 提供广泛可访问性和推动创新的愿景高度契合。此次合作凸显了 arm 在推动沉浸式音频技术未来方面的重要作用,为包括高端家庭影院系统、入门级移动设备和电视等在内的各种现有及未来设备,提供高质量的音频体验。

沉浸式音频的未来就在这里

iamf 彰显了沉浸式音频技术的重大飞跃,通过利用人工智能 (ai) 和深度学习技术以及 arm 支持的强大性能优化,提供多功能和高质量的音频体验。

沉浸式音频的未来已经到来,并且变得更加触手可及。无论您是普通听众还是音响发烧友,iamf 将为您带来前所未有的沉浸式音频体验。

发表评论

邮箱地址不会被公开。 必填项已用*标注

网站地图