Inductive Bias

Inductive Bias를 이해하기 위해서는 우선 Bias와 Variance 글을 읽어 보시길 추천 드립니다.

Bias와 Variance

Inductive Bias란?

학습시에는 만나보지 않았던 데이터에 대하여 정확한 예측을 하기 위해 사용하는 추가적인 가정(additional assumptions)을 의미합니다. 

Machine learning에서는 어떤 Target를 예측하기 위해 학습할 수 있는 알고리즘 구축을 목표로 하고, 이를 위해 제한된 수의 입력과 출력 데이터가 주어지게 됩니다.  Training data를 넘어 다른 데이터에 대해서도 일반화할 수 있는 능력을 가진 모든 기계 학습 알고리즘에는 어떤 유형의 Inductive Bias가 존재합니다. 이는 모델이 Training data로 학습하고 모델을 일반화하기 위한 만든 가정입니다.

한마디로 모델이 학습과정에서 본적이 없는 분포의 데이터를 입력 받았을 때, 해당 데이터에 대한 판단을 내리기 위해 가지고 있는, 학습 과정에서 습득된 Bias라고 말할 수 있습니다.

 

CNN에서의 Inductive Bias의 중요 속성은 다음과 같습니다.

Translation invariance

Image안의 Object가 들어 있을때 Object의 위치가 바뀌어도 해당 Object를 인식할 수 있습니다.

예를들어 고양이가 들어 있는 이미지가 있을때 고양이의 위치가 변경되어도 Classification에서는 똑같이 고양이라고 분류한다는 뜻입니다.

Translation equivariance

Image안에 Object가 들어 있을때 Object의 위치가 변경되면 CNN은 Activation 위치가 변경되게 됩니다.

아래의 그림과 같이 Object의 위치가 변경되면 Activation이 위치도 같이 변경됨을 볼 수 있습니다.

CNN의 Translation equivariance의 특성 덕분에 위치에 관계없이 Feature를 추출할 수 있게 됩니다.

CNN은 이러한 Translation equivariance 특성 덕분에 위치에 관계없이 Classification를 할 수 있게되는데 위에서 설명한 Translation invariance 속성 역시 가지게 됩니다.