Introduction

Object detection / Instance segmentation을 공부하기 위해 Computer vision의 종류와 용어를 소개하고자 합니다.

Computer vision 종류

 

컴퓨터 비전은 다음과 같이 나눌 수 있습니다.

• Classification: Single object에 대해서 Object 클래스(Classification)를 분류합니다.
  • 대표 모델: AlexNet, Inception(Google LeNet), ResNet
• Object detection
  • Classification + Localization: Single object에 대해서 object의 위치를 bounding box로 찾고 (Localization) + 클래스를 분류(Classification) 합니다.
  • Objecdt detection: 위의 Classification + Localization를 Multi Object에 대해서 수행합니다. 다시 말해서 Multiple objects에서 각각의 object에 대해 Multi Labeled Classification + Localization을 수행 합니다.
  • 대표 모델: YOLO, SSD, R-CNN 계열
• Semantic segmentation: Object Detection과 유사하지만, 다른 점은 Object 위치를 bounding box 가 아닌 실제 Object의 Pixel을 찾습니다.
  • 대표 모델: FCN(Fully Convolutional Network), SegNet, U-Net, DeepLab
• Instance segmentation: Object detection과 Semantic segmentation을 합 친것입니다.  Semantic segmentation과 달리 같은 클래스여도 다른 Instance로 픽셀 단위로 구분합니다. 
  • 대표 모델: Mask R-CNN

Semantic segmentation과 Instance segmentation

Semantic segmentation

이미지 내의 물체들을 Semantic(의미) 있는 단위로 분할하는 것을 뜻하며 이미지 각 픽셀이 어느 클래스에 속하는지 예측하는 것입니다.

어떤 이미지에 Semantic segmentation을 수행하면 각 픽셀이 어느 클래스에 속하는지 알게 되며 Semantic segmentation 알고리즘의 입력은 이미지(컬러 또는 흑백)이고, 출력은 각 픽셀의 예측된 클래스를 나타내는 segmenattion map입니다.

 

Semantic segmentation

Segmentation map

 

Semantic segmentation과 Object detection 차이

Instance segmentation

Semantic Segmentation과 Instance Segmentation 차이

 

Instance Segmentation

Semantic segmentation에서는 같은 클래스를 구분하지 않지만 Instance segmentation 같은 클래스라더 각각 객체의 Pixel단위로 구분합니다. 같은 클래스(Sheep) 이지만 Semantic segmentation에서는 구분하지 않고 Instance segmentation에서는 서로서로 다른 클래스(Sheep)으로 구분합니다.