为电视拍摄和编辑的视频通常是在景观中创建和观看的，但问题是，像16：9和4：3这样的纵横比并不总是适合用于观看的显示器 。幸运的是，谷歌正在处理这件事 。它今天详细介绍了自动翻转，一个开源工具的智能视频重构 。给定一个视频和一个目标维度，它分析视频内容，并制定最优的跟踪和裁剪策略，然后在期望的纵横比中产生相同持续时间的输出视频 。
正如Google Research高级软件工程师Nathan Frey和高级软件工程师郑孙在一篇博客文章中指出的那样，传统的视频重构方法通常涉及静态裁剪，这往往导致不满意的结果 。更多的定制方法是优越的，但它们通常需要视频策划者手动识别每个帧中的突出内容，跟踪它们从帧到帧的转换，并在整个视频中相应地调整作物区域 。
相比之下，由于AI对象检测和跟踪技术智能地理解视频内容，自动翻转是完全自动的 。该系统检测表示场景变化的构图的变化，以便隔离场景进行处理 。在每个镜头中，它使用视频分析来识别突出的内容，然后再重新绘制场景，主要是通过选择一个优化的相机模式和路径 。
为了检测视频中的镜头何时发生变化，自动翻转计算每个帧的颜色直方图，并将其与先前的帧进行比较 。如果帧颜色的分布以与滑动历史窗口不同的速度变化，则发出镜头变化信号 。自动翻转缓冲视频，直到场景完成，然后再进行重构决策，以优化整个场景的重构 。
自动翻转还点击基于AI的对象检测模型，在框架中找到有趣的内容，比如人、动物、文本覆盖、标识和运动 。人脸和对象检测模型与通过媒体管道的自动翻转集成在一起，这是一个框架，可以开发用于处理多模态数据的管道，该框架使用Google的处理器上的TensorFlowLite机器学习框架 。根据谷歌的说法，这种结构允许Auto Flip是可扩展的，因此开发人员可以为不同的用例和视频内容添加检测算法 。
【谷歌的AutoFlip使用人工智能为你裁剪视频】自动翻转自动选择一个重构策略-静止的，恐慌的，或跟踪-取决于对象在场景中的行为方式 。在静止模式下，重构的摄像机视口固定在一个位置(就像一个固定的三脚架)，在那里可以在整个场景中查看重要内容 。另一方面，恐慌模式以恒定的速度移动视口，而跟踪模式则提供连续和稳定的跟踪对象，因为它们在帧内移动 。
在选择重构策略的基础上，自动翻转为每个帧确定一个裁剪窗口，同时保留感兴趣的内容 。配置图提供了重新绘制的设置，以便如果不可能覆盖所有所需区域，系统将自动切换到一个不那么激进的策略，通过应用字母框效果，填充图像来填充框架 。自动翻转将绘制背景颜色(如果是纯色)，以确保填充混合，或以其他方式使用模糊版本的原始框架 。
研究人员留给未来的工作，以提高自动翻转的能力，以检测“与视频意图相关的对象”，如扬声器检测采访或动画人脸检测卡通，并确保输入视频与覆盖在屏幕边缘(如文本或徽标)是不从视图裁剪 。但他们断言，即使以目前的形式，自动翻转也将“减少设计创造力的障碍” 。
“通过结合文本/徽标检测和图像修复技术，我们希望未来版本的自动翻转能够重新定位前景对象，以更好地适应新的纵横比 。[而且]在需要填充的情况下，深度非裁剪技术可以提供更好的扩展能力，超越原来的可视区域，“弗雷和Sun写道 。“我们很高兴能将这个工具直接发布给开发人员和电影制作人，减少他们设计创造力的障碍，并通过视频编辑的自动化来实现 。随着视频内容消费设备的多样性继续迅速增加，使任何视频格式适应各种纵横比的能力越来越重要 。
推荐阅读
- T-Mobile宣布呼叫者验证功能现在可在17款智能手机上使用
- 朋友圈创意说说 朋友圈创意说说文案图
- 上海披萨加盟店10大品牌 加盟披萨店哪个牌子好
- 怎样自制绣眼鸟食
- 虎皮鹦鹉讨厌人的表现
- 哲理的说说心情短语
- 怎么大量清理c盘 c盘怎么清理到最干净的详细教程,win10如何深度清理c盘
- window10命令清理垃圾 win10清理弹窗广告命令,cmd命令清除广告
- win10系统部分字体乱码 win10系统出现乱码怎么办,中文乱码