百度飞浆图像分割课程 笔记14：全景分割 Panoptic-DeepLab [CVPR 2019]

Panoptic-DeepLab框架

• 采用双ASPP双解码器结构
• 预测三个输出，语义分割，实例中心和实例回归
  

Framework：
1. Encoder
ImageNet-Pretrained CNN（with dilated Conv：使得最后两层的尺度保持为1/16）

2. Separate ASPP and Decoder

• 一个ASPP提取语义多尺度context，不同的上下文
• 一个ASPP提取实例多尺度context
  

3. 双decoder
两个ASPP的输出，分别于backbone两个高分辨率的feature做融合。

然后上采样，得到更高分辨率的feature map，为了后面做密集预测。如果分辨率比较大，做密集预测结果是比较好的。（比如要得到100×100的mask，如果是50×50的mask，只需要上采样2倍，但是如果是10×10，就需要上采样10倍，直觉是，更少的feature map，10×10本身的信息量就很好了，得到更高的feature map是比较困难的，结果也会比较差。所以先提前得到一个较大的feature map）

4. Semantic segmentation：
- 用5×5卷积和1×1卷积，得到分割结果（H×W×Num_classes）

5. Instance segmentation head：

①predicting instance center point：实例中心预测，预测每个点是不是实例中心的概率。
H×W×128 通过 5×5卷积，得到H×W×32的，再通过1×1卷积，得到H×W×1的feature map，对于任何点只有一个值，范围为0-1，为概率值，代表该点为实例中心的概率

②predicting the offsets to its corresponding mass center for every foreground pixel：实例中心回归。
有了实例中心，怎么得到实例。预测每个点到实例中心的偏移量是多少。H×W×128 通过 5×5卷积，得到H×W×32的，再通过1×1卷积，得到2通道的（Δx，Δy）

• 训练：实例中心编码为标准差为8个pixel的二维高斯概率分布，MSE loss；（因为如果只用一个点，很难预测。二维高斯map会更好学习一点）

• 测试：前景像素被分配到最近的质心点。
  
  

  预测类别怎么知道？
  实例类别由语义分割结果知道。（语义分割结果不知道属于哪个实例，但是知道实例的类别）
  

6. 融合语义分割和实例分割，得到最终的分割结果

扩展：关于实例分割和全景分割的paper：