图像是信息时代最为常见的表现形式,而图像分割是我们日常生活在编辑图像时最常用到的一种功能。它将图像中的元素分离出来进行再创作,使各种艺术作品、视频内容甚至是直播变得生动有趣。
颠覆传统的语义分割方式
我们熟知的传统图像分割方式是,利用专业图像处理软件在电脑端手工裁剪出人物、添加蒙版、替换画布,如果人物边缘细节非常丰富,那么需要耗费巨大的工作量,而且结果往往不如人意。
随着计算机视觉技术的发展,人们开始利用基于神经网络的分割方法自动分割图像中的元素。最开始往往是利用普通分割将不同区域分开,如分割前景与后景,这种方式的图像分割是根据图像颜色纹理进行区域的划分,主要提取了图片中的低级特征,但分割出来的结果没有语义的标注,并不知道分割的物体是什么,因而造成连在一起的两个物体往往会同时分割出来,稍稍复杂的场景结果无法完成分割。
为了更精细化分割,机器学习服务提供了语义分割的方式明确获取物体类别,基于更加明确的语义单元进行深度学习,将图像中不同类别的物体单独分割出来。随着算法、算力的不断加深,我们将图像中的每个像素都进行标签化,可以做到完整、精细地分割出图像中生活中常见的元素。
图像分割丰富的应用场景:从静态图片到动态视频
1、证件照底色轻松换
图像分割的应用场景非常多,比如我们日常经常会用到各种底色和尺寸的证件照,现在有了成熟的图像分割技术,为了节省人力和时间成本,用户就可以选择通过移动端应用的线上制作方式,利用现有的照片素材分离出人像元素,替换背景后生成各种类型、尺寸的证件照片。
生成自然且真实的证件照片对于图像处理技术的处理水平要求很高,需要保留人像的边缘细节,包括头发、衣物,即使在接近背景的情况下也能清晰完整地分割出来,最后在手机端侧处理完成,保证用户隐私信息。
2、分离图像基本元素换背景
另一个场景,应用实现图形图像编辑能力的时候,最常用的就是分离图像中的基本元素,包括人像、美食、宠物,然后重新组合更换背景。
利用图像分割服务,这项工作则变得非常简单,我们可以直接在手机端选择一张图片,图像分割自动地帮我们把人像元素分割出来,我们要做的就是再选择一张新的背景,接下来我们只需要把分割出来的人像放到对应的位置即可。我们可以看到人像的细节依然清晰可见。
3、直播视频快速换背景
在5G时代,大家更喜欢看直播,因此主播希望方便快捷地换有趣或漂亮的背景,吸引用户来观看。机器学习服务提供的图像分割能力,如今可以支持对于视频流的处理,并提供速度优化,完成稳定精细的画质分割。
随着电商直播的爆发式增长,商家直播都会在布景的直播间完成,背景无法替换。借助机器学习提供的精准的图像分割,商家可以根据不同销售品类、不同商业诉求进行数字化实时布景替换与切换。譬如主播介绍家居用品时,可以切换至家居风格背景,介绍海上冲浪用品时,可以随时切换到沙滩与海浪的背景等。
4、弹幕穿人,提升在线长视频体验
同时,针对长视频这类典型的应用,图像分割技术则提供了蒙版弹幕的方式,通过语义分割识别出视频中的主体对象,生成蒙版分发给前端,或者俗称弹幕穿人。这样,经过前端渲染之后达到不遮挡主体对象的效果。针对视频流,我们专门对帧间连续性做了优化,采用前帧候选框提升帧间连续性和边缘精细度,让视频看起来更加稳定自然。
总结一下,HMS Core机器学习服务的图像分割可以轻松将图片中相同元素分割出来,既支持静态图片又支持动态视频的分割。
细节方面,图像分割采用了具有创新意义的语义分割框架,这种框架将图像中的每个像素点都标签化,可以看到即使是发丝细节我们都可以清晰完整的保留。
另外我们提升了对于不同画质、不同尺寸图片的处理能力,针对分割算法常常出现的白边,我们采用了更加结构化学习的训练方式,使边缘更加自然。
目前此项服务完全免费,全安卓机型覆盖,欢迎开发者来测试、开发、使用👉 开发指导文档
关于如何高效实现“保留发丝”级的图像分割功能,HMS Core Time系列视频提供了更详细的讲解,欢迎开发者点击学习。
>>访问华为开发者联盟官网,了解更多相关内容
>>获取开发指导文档
>>华为移动服务开源仓库地址:GitHub、Gitee
点击右上角头像右方的关注,第一时间了解华为移动服务最新技术~