本文分享自华为云社区《华为云媒体 AI,实现黑白老电影的彩色梦》,原文作者:音视频大管家 。
近日,华为云TechWave全球技术峰会(人工智能&数据)在上海成功举办。AI技术分论坛以“AI技术创新,加速行业智能升级”为主题,邀请到行业嘉宾分享了AI在互联网媒体、医疗、环境等行业的落地实践。马栏山视频文创产业园首席专家周苏岳受邀发表演讲《经典永流传,媒体 AI 让老电影焕发新生》,分享与华为云原生媒体服务合作的媒体AI在老电影修复方面的应用。
华为云围绕马栏山园区企业视频从制作到发布全流程业务场景,搭建了马栏山视频产业云,满足视频生产、制作、分发等各个环节的云服务需求。在修复经典影视领域,通过引入AI修复增强和上色技术,解决胶片及磁带保存劣化及当时拍摄技术限制造成的问题,与纯人工相比,处理速度可提高100+倍;而引入混合云平台,使得计算和存储资源池能够无限动态扩容,极大提升效率,降低成本。
周苏岳指出,利用媒体AI做老电影的修复,特别是黑白视频上色方面,难度比我们想象的要大很多,以他曾负责的黑白电影《雷锋》上色为例,主要有两大难点:第一、搜索空间大,计算复杂性高;第二、颜色语义信息复杂,模型建立困难。在AI分论坛上,周苏岳表示,要解决这两大难题,主要是运用多GPU并行计算,建立AI自动上色 + 人工矫正 + AI迭代优化上色的自学习迭代上色工艺;另外,形成整体到局部的迭代优化流程,空间尺度上,通过筛选框定点优化局部颜色,时间尺度上,通过颜色传播算法优化连续帧之间的颜色效果。
马栏山视频文创产业园首席专家周苏岳
电影《雷锋》的修复,解决了AI神经网络自动学习与上色的3大难题:不同帧之间的颜色时序一致性;单帧图片内的颜色空间协调性;物品对象的颜色语义一致性。周苏岳也坦诚道,AI视频上色还面临很多挑战,比如在运动及光影变化明显时,存在由于焦点不实导致的轮廓识别精度不高而颜色溢出,少部分物品如衣领、红领巾等颜色匹配错误,多人物场景下极少数物品颜色漏上等问题。
周苏岳还分享了华为云原生媒体服务如何高效地帮助马栏山5G高新视频公共服务云平台在影视剧生产、广电制播及融媒体运营等多场景应用。未来,马栏山视频文创产业园与华为云将进一步加强合作,在筛选框定点优化局部颜色、关键帧颜色传播算法、以及模型层面增加物体追踪及上色约束方面进行针对性攻关,以解决当前AI系统存在的两个主要问题:当前模型在低分辨率图片(480P)上训练不适应高清和4K视频上色;光影变化导致全局灰度变化,颜色相似性变得模糊。预计明年将会有更优秀的AI工艺生产的经典影视作品跟大家见面。
华为深耕音视频领域30多年,拥有1000多项音视频算法专利,在5G、IT基础设施、智能终端、芯片等方面全栈领先。华为云原生媒体服务,在老旧视频修复和标清/高清视频的超高清转置方面,有着丰富的经验,目前已与国内多家媒体平台以及产业园区达成合作,得到业界的广泛认可。未来云上内容制作正在成为趋势,华为云原生媒体服务将持续深耕影视制作领域,为推进中国影视工业数字化升级、促进整个电影产业发展打造坚实的云服务平台。
在近日举办的华为云TechWave云原生媒体服务专题日上,华为云原生视频服务正式升级为华为云原生媒体服务,专题日深度解读三大产品领域-“媒体生产”,“媒体分发”,以及“媒体应用”。看华为三十年媒体技术积累如何为传统业务赋予新的竞争力,拓展新赛道,激活行业生产力。点击链接了解更多云原生媒体服务干货看点。https://www.huaweicloud.com/about/techwave_video.html