爱刨根知识网

  1. 首页 > 经验知识 > >

相机最近的最大进步来自人工智能 而不是传感器和镜头

生活经验知识分享


如果您想知道下一部手机的摄像头的性能如何 ， 明智的做法是注意制造商对AI的评价 。除了大肆宣传之外 ， 这项技术在过去几年中还使摄影技术取得了惊人的进步 ， 没有理由认为进展会放慢 。
可以肯定 ， 周围还有很多头 。但是 ， 最近摄影领域最令人印象深刻的进步发生在软件和芯片级别 ， 而不是传感器或镜头–这在很大程度上要归功于AI使相机更好地了解了他们所看的东西 。
Google相册清楚地展示了2015年该应用程序启动时将AI和摄影相结合的强大功能 。在此之前 ， 搜索巨头多年来一直在使用机器学习对Google+中的图像进行分类 ， 但该公司推出了“照片”应用程序包括大多数人难以想象的面向消费者的AI功能 。一夜之间 ， 用户杂乱无章的数千张未标记照片库被转换成可搜索的数据库 。
【相机最近的最大进步来自人工智能 而不是传感器和镜头】突然之间 ， 或看起来 ， Google知道您的猫是什么样子 。
Google建立了一个经过深度训练的深度神经网络 ， 以人类标记的数据为基础 ， 该研究是在2013年收购DNNresearch的先前工作的基础上进行的 。这称为监督学习;该过程涉及在数百万张图像上训练网络 ， 以便它可以在像素级别寻找视觉线索以帮助识别类别 。随着时间的流逝 ， 该算法在识别大熊猫方面变得越来越好 ， 因为它包含过去用来正确识别大熊猫的模式 。例如 ， 它可以了解黑色皮毛和白色皮毛之间的相互关系 ， 以及与荷斯坦奶牛的皮有何不同 。经过进一步的培训 ， 就有可能搜索更抽象的术语 ， 例如“动物”或“早餐” ， 这些术语可能没有共同的视觉指标 ， 但对于人类仍然是立即显而易见的 。
训练这样的算法需要花费大量时间和处理能力 ， 但是在数据中心完成其工作后 ， 就可以在低功率移动设备上运行而不会带来太多麻烦 。繁重的工作已经完成 ， 因此 ， 一旦您的照片上传到云中 ， Google便可以使用其模型来分析和标记整个库 。Google Photos推出大约一年后 ， Apple宣布了照片搜索功能 ， 该功能在神经网络上进行了类似的训练 ， 但是作为公司对隐私保护的承诺的一部分 ， 实际分类是在每个设备的处理器上分别进行的 ， 而不发送数据 。这通常需要一两天 ， 并且会在设置后的后台发生 。
智能照片管理软件是一回事 ， 但可以说 ， 人工智能和机器学习首先会对图像的捕获产生更大的影响 。是的 ， 镜头继续变得更快一点 ， 传感器总是可以变得更大一点 ， 但是在将光学系统塞入超薄移动设备中时 ， 我们已经在推动物理的局限性 。尽管如此 ， 如今至少在后期处理之前 ， 手机在某些情况下要比许多专用摄像头拍摄更好的照片并不罕见 。这是因为传统相机无法在对摄影同样重要的另一类硬件上竞争：包含CPU ， 图像信号处理器以及神经处理单元(NPU)的片上系统 。
这就是所谓的计算摄影中使用的硬件 ， 这个广义的术语涵盖了从手机人像模式中虚假的景深效果到有助于驱动Google Pixel令人难以置信的图像质量的算法等所有内容 。并非所有的计算摄影都涉及AI ， 但AI无疑是AI的主要组成部分 。
苹果公司利用这项技术来驱动其双摄像头手机的纵向模式 。iPhone的图像信号处理器使用机器学习技术通过一个摄像头识别人 ， 而第二个摄像头创建一个深度图 ， 以帮助隔离对象并模糊背景 。通过机器学习识别人的能力在2016年首次亮相时并不是什么新功能 ， 因为照片组织软件已经在这样做 。但是以智能手机相机所需的速度实时管理它是一个突破 。
Google仍然是该领域的明显领导者 ， 而三代Pixel所产生的出色结果是最令人信服的证据 。HDR +是默认的拍摄模式 ， 它使用一种复杂的算法将几张曝光不足的帧合并为一个 ， 就像Google的计算摄影负责人Marc Levoy在The Verge中指出的那样 ， 机器学习意味着系统只会随着时间的推移而变得更好 。Google已使用Google Photos软件在庞大的带有标签的照片数据集上训练了AI ， 这进一步帮助了相机进行曝光 。像素2 ， 特别是 ， 生产这种基线图像质量的令人印象深刻的水平 ， 有些我们在边缘已经超过舒适的使用它的专业工作在这个网站上 。
GOOGLE的NIGHT SIGHT是关于软件在摄影中的作用的惊人广告
但是Google的优势似乎从未像几个月前推出Night Sight那样明显 。全新的Pixel功能将长时间曝光拼接在一起 ， 并使用机器学习算法来计算更准确的白平衡和色彩 ， 并得出令人惊讶的结果 。该功能在Pixel 3上效果最佳 ， 因为算法设计时考虑了最新的硬件 ， 但Google使其可用于所有Pixel手机-甚至包括缺乏光学图像稳定功能的原始手机-以及有关如何使用软件的惊人广告对于移动摄影 ， 现在比照相机硬件更重要 。
话虽如此 ， 硬件仍有空间发挥作用 ， 特别是在有AI支持的情况下 。Honor的新款View 20手机以及母公司华为的Nova 4 ， 是首款使用Sony IMX586图像传感器的手机 。它比大多数竞争对手都更大的传感器 ， 其48兆像素代表了迄今为止在任何手机上所见的最高分辨率 。但这仍然意味着将很多微小的像素塞满一个很小的空间 ， 这对于图像质量来说往往是有问题的 。但是 ， 在我的View 20测试中 ， Honor的“ AI Ultra Clarity”模式擅长充分利用分辨率 ， 对传感器不寻常的滤色器进行解密以解锁更多细节 。这会产生巨大的照片 ， 您可以放大数天 。
图像信号处理器对于手机相机的性能一直很重要 ， 但是随着计算摄影技术的发展 ， NPU似乎将扮演更大的角色 。华为是第一家发布具有专用AI硬件的芯片系统Kirin 970的公司 ， 尽管苹果的A11 Bionic最终获得了消费者的青睐 。全球最大的Android处理器供应商高通公司(Qualcomm)尚未将机器学习作为主要重点 ， 但谷歌已经开发了自己的名为Pixel Visual Core的芯片来帮助完成与AI相关的成像任务 。同时 ， 最新的Apple A12 Bionic具有八核神经引擎 ， 可以在Apple机器学习框架Core ML中运行任务 ， 其速度比A11快9倍 ， 并且首次将其直接链接到图像处理器 。苹果表示 ， 这可以使相机更好地了解焦平面 ， 例如 ， 有助于产生更真实的景深 。
相机是任何手机的基本功能 ， 而AI是我们改进相机的最佳选择
对于高效和高性能的设备上机器学习而言 ， 这种硬件将变得越来越重要 ， 就其对处理器的需求而言 ， 它具有极高的上限 。请记住 ， 在将Google Photos设置为强大的功能之前 ， 必须在具有强大GPU和张量核心的强大计算机上对其进行训练 ， 然后再将它们放到照片库中 。可以说 ， 许多工作可以“提前”完成 ， 但是在移动设备上实时执行机器学习计算的能力仍然是最前沿的 。
Google展示了一些令人印象深刻的工作 ， 它们可以减轻处理负担 ， 而神经引擎的速度每年都在提高 。但是 ， 即使在计算摄影的早期阶段 ， 从围绕机器学习设计的手机摄像头中也可以发现真正的好处 。实际上 ， 在过去几年的AI炒作浪潮中提出的所有可能性和应用中 ， 当今最实用的领域可以说是摄影 。相机是任何手机的基本功能 ， 而AI是我们改进相机的最佳选择 。

    推荐阅读


    上一篇：迷你世界怎么做大巴车

    下一篇：职业中专机电专业学什么 机电一体化技术专业主要学什么？