成产品及系统平台的现场演示,编写技术应用服务方案等,编写投标类方案文件及标书的制作;通常,当我们看到一张图片时,会在图片中聚焦一个焦点。这个可能是一个人,一座建筑物甚至是一个桶。 其他没有聚焦区域虽然很清晰,但是却由于颜色单调或者纹理较为平滑而很少引起关注。当遇到此类图像时,我们希望从图像中分割出感兴趣的对象。下面给出了显式图像的示例,本文探讨了此类显式图像的分割方法,也称为显着性的图像分割。
完整代码地址:https://github.com/YouthJourney/Computer-Vision-OpenCV/tree/master/image_segmentation
在上面的图像中,桶(左)和人(右)是感兴趣的对象
最开始的分割方式起源于希望能够自主寻找图像中的Trimap。Trimap是图像掩码(mask),当与掩码算法配合使用时,可用于分割图像,同时能够提示前景和背景之间的细节。Trimap通常包含定义前景的白色区域,定义背景的黑色区域以及代表不确定区域的灰色区域。具体形式如下图所示。
大部分分割图像使用的就是抠图算法,它的问题在于,他们依靠用户自己提供Trimap,这就特别耗时而且不一定准确。下面主要介绍两种自主生成Trimap的方法。
1、比较简易并易于实现的方法,缺点是它不是完全自主的,要求用户为Grabcut算法提供一个矩形区域。若忽略认为给出矩形区域,能产生很好地分割效果。
2、使用显式方法预测感兴趣的区域。缺点是该方法非常复杂,是将三种不同的显式性算法的结果结合在一起,而且其中一种算法还利用了卷积神经网络。它可以完美解决自主分割的问题
对于大多数形式的图像分割,目标都是将图像二值化为感兴趣的区域。这个本文介绍的方法的目标也是这样的。首先,大致确定感兴趣的对象在哪里。再将高斯模糊应用于图像,之后在模糊图像中生成平均15像素大小 的超像素。最后超像素算法旨在根据像素区域中值的颜色和距离来分解图像。具体来说,使用了简单的线性迭代聚类(SLIC)算法。具体形式如下图所示。
超像素将图像分解为大致相同的区域。这样的一个优点是,超像素允许区域的泛化。我们可以假设超像素内的大多数像素具有相似的属性。
在确定图像中的超像素的同时,计算图像的显式性图。有两种不同的显式性技术。第一种方法使用OPenCV内置的方法,即细颗粒显式性;第二种方法涉及获取细颗粒显式性图像的平均值,然后从图像的高斯模糊版本中减去平均值,最后就得到新图像的绝对值。
下图显示了两种方法的效果,使用颗粒显式性方法产生的图像较为柔和,勾勒出了图像的边界;使用高斯模糊减去平均值的方法也捕获出了图像内部,但是相比较前者,产生了更多了噪音,需要对图片进行去噪处理。
为了将图像二值化,对从彩色图像生成的每个超级像素进行迭代。如果显式图像内该超像素区域的中值像素值大于阈值T1,则整个超像素将被二值化为白色。否则,整个超像素将保留为黑色。T1由用户选择,一般情况下,将T1设置为显式图像中最大像素值的25%-30%。
对图像进行二值化之后,基于所使用的的显式性技术对图像进行扩张。方法一是将图像放大为平均尺寸的两倍。方法二没有进行放大,因为图像中存在较大噪音扩大存在风险。处理结果如下:
最后一步操作取决于使用的是哪种显式性。在这两种方法的结果中,都提取最大的白色像素区域。通过查找 图像中的轮廓并选择面积最大的轮廓来执行此操作,之后将边界框拟合到所选区域。
根据一般性结果,第一种显式性方法通常会导致区域碎片化。生成边界框后,将落入该框的不属于最大区域的所有其他白色区域添加到该框。框的边界增加到包括这些区域,第二种显式性方法不需要这样做。通常,最大获取的区域会超出期望的数量。
最后一步是将最终找到的边界框提供给Grabcut算法。Grabcut是用于分割图像的常用方法,该方法会将绝 对是背景和前景的内容分开。这里面我们直接使用OpenCV的内置Grabcut函数。处理的结果如下所示。
两种显着性计算方法对于结果会有一些影响。第一种显着性方法更加适用于含有噪声的图像中,在含有噪声的图像中不会像第二种显式性方法造成分割结果的溢出。,但是如果图像太长或有卷须,则这些部分通常会与图像的其余部分断开连接。
下面是两种方法分割更多图像的示例结果。
参考文献: 【1】C. Hsieh and M. Lee, “Automatic trimap generation for digital image matting,” 2013 Asia-Pacific Signal and Information Processing Association Annual Summit and Conference, Kaohsiung, 2013, pp. 1–5. 【2】Gupta, Vikas & Raman, Shanmuganathan. (2017). Automatic Trimap Generation for Image Matting.
源码地址:https://github.com/TimChinenov/GraspPicture