2020 ICRA之RGBT语义分割:PST900: RGB-Thermal Calibration,Dataset and Segmentation Network

it2026-03-11  3

PST900: RGB-Thermal Calibration, Dataset and Segmentation Network 简述: 首先,本文提出了一种RGB-T数据集矫正方法 其次,本文是一个比赛提出的,本文通过这种矫正方法对官方提供了PST900进行校正,做到成对数据的完全对齐。 最后,提出了一种用于快速语义分割的框架。

模型: 1数据校正: 这个比赛提供的数据集是RGB-D-T数据集,通过Depth信息来校正RGB和T信息对齐,通过T图像得到T到RGB图像的映射关系进行校正,这里不仔细讲了,是对RGBDT数据集的预处理,一般用不到,但这里处理的效果比本文提出的框架算法的效果还要好。

2Penn Subterranean Thermal 900 Dataset (PST900): DARPA Subterranean Challenge提供的4类(灭火器,背包,手钻,幸存者:热人体模型)共894张对齐图像:

3.框架:

本框架先通过RGB通过UNET(backbone为Res18)得到一张seg图像,再将这个图像和RGB和T图像多通道级联输入给轻量级ERF Net,得到最终分割图。

实验: 在MFNet数据集得到的结果(公认的数据集,mIOU为0.4776)

在本文提出的数据集PST900 Dataset:

最新回复(0)