컴퓨터 비전

사람이 눈으로 사물을 보고 「이건 사과네!」, 「저건 고양이네!」라고 알아채는 것처럼, 컴퓨터가 사진이나 영상(이미지)에서 의미 있는 정보를 추출하고 인식하는 기술을 연구하는 분야를 컴퓨터 비전이라고 합니다.

이 중에서 사진 속 장소, 물체, 사람 등을 알아맞히는 것을 「이미지 인식(Image Recognition)」이라고 부르며, 컴퓨터 비전의 가장 대표적인 기술입니다.

심층 신경망(DNN, 은닉층이 2개 이상인 인공신경망)의 기본 구조는 앞 층의 값을 모두 다음 층에 이어 붙입니다. 그런데 사진은 가까이 붙어 있는 점끼리 뭉쳐 봐야 모서리나 무늬가 보입니다. 그래서 이미지를 다루기 좋게 구조를 바꾼 심층 신경망이 합성곱 신경망(CNN, Convolutional Neural Network)입니다. 딥러닝을 활용한 컴퓨터 비전은 이 인공신경망으로 이미지의 특징을 모델이 스스로 찾아내는 방식입니다. 구조가 정확히 어떻게 생겼는지는 「합성곱과 풀링」 절에서 자세히 다룹니다.

RGB 값으로 색을 표현하는 방법

각 픽셀은 R(빨강), G(초록), B(파랑) 3개의 값으로 이루어지며, 각각 0~255 사이의 숫자로 표현됩니다. 이 세 숫자의 조합으로 1,600만 가지 이상의 색상을 만들 수 있습니다.

왜 기본 신경망 구조를 그대로 쓰지 않을까?

기본 인공신경망은 앞 층의 모든 값을 다음 층의 모든 뉴런에 이어 붙이는 구조입니다. 이 구조에 사진을 넣으려면 숫자표를 한 줄로 쭉 늘어놓아야 하는데, 그러면 두 가지 문제가 생깁니다.

그래서 합성곱 신경망은 사진을 한 줄로 평탄화(flatten)하지 않고 격자 모양 그대로 두고, 작은 창을 옮겨 가며 이웃한 칸끼리만 계산합니다. 그 계산이 합성곱입니다.

합성곱(convolution) — 작은 창을 옮겨 가며 계산한다

커널(kernel)은 숫자 몇 개가 적힌 작은 숫자판입니다. 이 커널을 사진의 왼쪽 위 구석에 겹쳐 놓고, 겹친 칸끼리 곱해서 모두 더합니다. 그 결과 숫자 하나가 나옵니다. 그다음 커널을 한 칸 오른쪽으로 옮겨 같은 계산을 하고, 오른쪽 끝에 닿으면 한 줄 내려와 다시 왼쪽부터 같은 계산을 반복합니다.

이렇게 모은 숫자들을 다시 격자로 늘어놓은 것을 특징 지도(feature map)라고 합니다.

풀링(pooling) — 크게 줄여 요약한다

합성곱을 한 번 거쳐도 특징 지도의 숫자는 여전히 많습니다. 풀링은 특징 지도를 작은 구역으로 나눈 뒤 구역마다 대표값 하나만 남기는 손질입니다. 가장 흔한 방식은 가장 큰 값만 남기는 것입니다.

이 둘을 번갈아 쌓으면

합성곱 신경망은 합성곱 → 풀링을 여러 번 반복한 뒤, 마지막에 앞 층의 모든 값을 이어 붙이는 층을 붙여 이름표를 고릅니다. 앞쪽 층은 짧은 선이나 색의 경계처럼 단순한 무늬에 반응하고, 뒤쪽 층으로 갈수록 그 무늬들이 모인 더 큰 모양에 반응하게 됩니다.