所在位置:凯时娱乐网站 > 行业新闻 >

用深度进修拯救手抖!FB详解全景照片修复能力
发布时间:2019-11-29 点击: 次   编辑:

(原标题:用深度进修拯救手抖星人!Facebook详解全景照片修复能力)

陈桦 编译整理

量子位 报导 | 公众号QbitAI

拍全景照片,重要的是手要稳,手要稳,手要稳……或者支个三角架。

量子位就认识一些名副其实、经常手抖的人类,经常拍成这样:

用深度进修拯救手抖星人!Facebook详解全景照片修复能力

心疼这张桌子一秒……

用深度进修拯救手抖星人!Facebook详解全景照片修复能力

最近,Facebook为了拯救手残星人、让用户们欢快地发更多的全景照片,初步钻研用深度进修来调整凯时娱乐网站首页360度全景照。

Facebook官方博客本日具体介绍了这项技术,量子位编译如下:

自去年Facebook发布360度照片功能以来,用户已经上传了凌驾7000万张360度照片。

Facebook提供了多种方式去拍摄360度照片和视频,让用户可以与社区分享本人的着迷式体验。假如你有专门的360度相机,例如理光Tehta S或Giroptic iO,那么可以将相机中的内容间接上传至Facebook。目前,高端Android手机和iPhone也提供了全景相机功能,可以用于拍摄360度照片。

过去一年,Facebook开发并陈列了多种技术,用于优化用户制作并分享360度内容的方式,例如360度拍摄和360度视频防抖,并从头开发了保存高清媒体内容的方式。

最近,我们初步摸索,操作深度神经网络自动调整360度照片的标的目的,给用户的手机带来更多真实的着迷式体验。

制作高分辨率360度照片

近期我们颁布颁发,在Facebook应用中间接参与一项新功能,通过无限制的创新用户界面,协助用户拍摄完好的360度场景。文章开头的视频展示了Facebook应用的360度拍摄功能。

相对于传统的照片,360度照片的文件体积往往更大。

因而我们面临的挑战之一在于,在音讯流参与360度照片之后,如何协助人们更快地阅读这些内容,同时确保当用户停下来不雅观赏某张360度照片时,提供完好分辨率的版本,并撑持旋转、拖动和缩放等功能。

假如间接提供完好分辨率的版本,那么会导致当用户滚动音讯流时其他内容加载迟缓,并占用大量内存去办理照片。

面对这些挑战,我们从头设想了Facebook的照片根底设备,实现照片内容的“平铺”保存方式和展现方式。

用深度进修拯救手抖星人!Facebook详解全景照片修复能力

每张360度照片都被转换为立方体图,这相似于我们早期对360度视频的做法。这些立方体图随后被保存为多种分辨率,而每种分辨率都被进一步分拆为独立的、更小的512x512图片。

当360度照片被检察时,我们判断在当前窗口中应当衬着什么样的分辨率和什么样的平铺效果。假如当前分辨率不成用,我们就会临时衬着较低分辨率的版本,同时期待网络传输高分辨率版本。

随着用户在360度照片中的拖动和缩放,我们会从头停止这样的计算。这种调整让我们可以展示包孕数亿像素的照片,而不会对性能孕育发生太大影响。

用于360度照片的深度神经网络

上传至Facebook平台的数千万公开360度照片提供了强大的新数据集,辅佐我们优化产品。360度数据自身可以与机器进修方法配合使用,给用户带来更好的体验。

导致360度照片偏离实景的最根本问题之一在于,在拍摄360度照片时,假如相机不够程度,那么所孕育发生照片的旋转就会不正确。

可以看看下面的这个例子:

用深度进修拯救手抖星人!Facebook详解全景照片修复能力

在拍摄这张照片时,手持相机的方式有问题。这导致了程度线的倾斜,照片的失真。

对于传统照片,用编纂软件可以很容易修正这种照片旋转的问题。然而,同样的工具并不适用于360度照片,在球面上修正旋转问题看起来也很不直不雅观。

360度照片的旋转问题由两个参数来决定,别离为倾斜和滚动,如下图所示:

用深度进修拯救手抖星人!Facebook详解全景照片修复能力

Copyright © 2013 凯时娱乐网站凯时娱乐网站首页_凯时娱手机版网址_凯时国际娱乐人生就是博 All Rights Reserved |网站地图|