데이터의 이해

데이터란 무엇일까?

숫자만 데이터일까? 사진이나 목소리는 데이터가 아닐까?

데이터 과학은 데이터를 분석해 정보와 지식을 찾아내는 학문입니다. 여기서는 그 재료인 데이터 자체를 살펴봅니다.

데이터는 관찰이나 측정을 통해 얻은 객관적 사실이나 값입니다. 누가 확인해도 같은 결과가 나와야 합니다.

정의는 짧지만 눈여겨볼 낱말이 셋 있습니다. 관찰과 측정은 데이터를 얻는 방법이고, 「객관적」은 데이터가 갖춰야 할 조건입니다.

관찰

보고 세어서 얻습니다. 교실에 몇 명이 앉아 있는지, 오늘 급식에서 어떤 반찬이 남았는지를 눈으로 확인하는 것입니다.

측정

도구로 측정해서 얻습니다. 줄자로 키를 측정하고, 온도계로 교실 온도를 측정하는 것처럼 기계나 도구를 써서 값을 얻습니다.

객관적 사실이나 값

누가 확인해도 같은 결과가 나와야 합니다. 「오늘 급식이 맛있었다」는 사람마다 다르지만, 「잔반이 12kg 남았다」는 누가 측정해도 같습니다.

그러면 의견은 데이터가 될 수 없을까?

「급식이 맛있었다」는 느낌 그 자체는 사람마다 달라 데이터가 되지 못합니다. 하지만 「학생 A가 설문에서 맛있었다고 답했다」는 응답 기록은 누가 확인해도 같습니다. 객관적 사실이므로 데이터가 됩니다. 영화 리뷰나 만족도 조사가 데이터로 쓰이는 것이 이 때문입니다. 의견을 남겼다는 기록을 모으는 것이지, 의견의 옳고 그름을 모으는 것이 아닙니다.

용어 풀이

데이터 data

data는 라틴어 datum(주어진 것)의 복수형입니다. 말 그대로 「주어진 것들」이라는 뜻입니다. 누군가의 생각이나 주장이 아니라 관찰과 측정으로 「주어진」 사실이라는 뜻이 단어에 담겨 있습니다.

복수형이라는 점도 의미가 있습니다. 데이터는 보통 하나가 아니라 여럿이 모여 쓰입니다. 값 하나만으로는 패턴이 보이지 않기 때문입니다.

숫자만 데이터인 것은 아닙니다. 사진, 목소리, 채팅 글도 모두 데이터입니다. 「관찰이나 측정으로 얻은 객관적 사실」이기만 하면 됩니다. 이처럼 내용을 표의 칸으로 나누어 적기 어려운 데이터를 비정형 데이터라고 합니다.

데이터는 왜 모을까?

데이터 과학의 기본 요소인 데이터(data)는 문제 해결 및 의사 결정을 위한 재료로 수집됩니다. 요리 재료를 떠올리면 쉽습니다. 재료가 있어야 요리를 하듯, 데이터가 있어야 판단을 할 수 있습니다.

데이터는 하나만 볼 때보다 여러 데이터를 연결할 때 더 큰 가치를 가집니다. 서로 다른 데이터를 연결해 분석하면 새로운 사실을 발견할 수 있습니다.

연결하면 새로 보이는 것

「급식 잔반량」 데이터 하나만 보면 어느 날 많이 남았다는 것밖에 모릅니다. 여기에 「그날의 메뉴」와 「그날의 날씨」를 연결하면 「더운 날에 뜨거운 국이 나오면 잔반이 많았다」는 새로운 사실이 보입니다.

스스로 확인

「우리 반은 분위기가 좋다」는 데이터일까요, 아닐까요? 데이터가 아니라면 어떻게 바꿔야 데이터가 될지 말해 보세요.

학교 안에는 어떤 데이터가 있을까?

데이터는 멀리 있는 것이 아니라, 지금 내가 있는 곳에도 있을까?

학교 내에는 출석부, 교실 학습 환경, 과제 등에서 다양한 형태의 데이터를 찾을 수 있습니다.

학교 건물을 한 바퀴 돌아봅시다

도서관 — 도서 대출 데이터

누가 어떤 책을 언제 빌리고 반납했는지가 쌓입니다.

과학실 — 화학 약품 데이터

어떤 약품이 얼마나 남아 있고 언제까지 쓸 수 있는지가 기록됩니다.

교실 — 온도 데이터

냉난방기와 온도계가 교실 온도를 계속 측정하고 있습니다.

교실 — TV 속 영상 데이터

수업에 쓰는 영상과 화면에 띄우는 자료도 데이터입니다.

학교 전체 — 학생 수 데이터

학년별 · 반별 인원이 급식과 교실 배정의 기준이 됩니다.

열람실 — 열람실 데이터

어느 좌석이 몇 시에 얼마나 쓰이는지가 남습니다.

하나의 물건에도 데이터는 여러 개 들어 있습니다

출석부를 예로 들면, 출석부는 「출결 기록」 하나로 보이지만 실제로는 학급 번호, 학생 사진 등 여러 데이터가 함께 들어 있습니다.

출석부 하나에 들어 있는 데이터

학급 번호 · 이름
학생 사진
날짜별 출결 기록

목적에 따라 골라 씁니다

지각이 잦은 요일을 찾고 싶다면 → 날짜별 출결 기록
학생증을 새로 만들고 싶다면 → 학생 사진

같은 출석부라도 무엇을 알고 싶으냐에 따라 꺼내 쓰는 데이터가 달라집니다.

스스로 확인

내 학생증 하나에는 어떤 데이터가 몇 개나 들어 있을까요? 출석부 예시처럼 항목을 나열해 보고, 그중 「도서관에서 책을 빌릴 때」 쓰이는 것은 무엇일지 골라 보세요.

정형 데이터란 무엇일까?

「정형」이라는 말은 무슨 뜻일까?

데이터는 특성에 따라 정형 데이터와 비정형 데이터로 구분할 수 있습니다. 먼저 정형 데이터를 살펴봅니다.

정형 데이터는 어떤 칸에 무엇이 들어갈지 미리 정해져 있는 데이터입니다. 행과 열로 짜인 표가 대표적입니다.

용어 풀이

정형(定型) 데이터 structured data

한자로 보면

정할 정(定) + 틀 형(型) → 틀이 미리 정해져 있는 데이터

영어로 보면

structure(구조) + -ed(∼을 갖춘) → 구조를 갖춘 데이터

한자의 「틀」과 영어의 「structure(구조)」는 비슷한 뜻입니다. 그래서 정형 데이터를 「구조와 속성이 명시적으로 정의된 데이터」라고도 합니다. 「명시적으로 정의되었다」는 「어디에 무엇을 적는지가 분명하게 정해져 있다」는 뜻입니다. 아래 표에서 「학번」 열에는 반드시 학번이 들어가야 하고, 이름이 들어갈 수는 없습니다. 표의 점수는 수업에서 원리를 확인하려고 지어낸 값입니다.

정형 데이터 예시

이름	학번	점수
학생 A	10101	58
학생 B	10102	75
학생 C	10103	89

구조와 의미가 명확하다

표만 보면 무엇이 이름이고 무엇이 점수인지 바로 압니다. 설명을 따로 듣지 않아도 읽을 수 있습니다.

처리와 분석이 비교적 쉽다

점수 칸만 모아 평균을 내거나 높은 순으로 줄 세우는 일을 컴퓨터가 곧바로 할 수 있습니다.

왜 분석이 쉬울까요? 컴퓨터에게 「세 번째 열의 평균을 내라」고 시킬 수 있기 때문입니다. 열마다 들어갈 것이 정해져 있으니 어디를 봐야 하는지 알려 줄 수 있는 것입니다. 이 점에서 비정형 데이터와 구분됩니다.

스스로 확인

우리 반 시간표는 정형 데이터일까요? 그렇게 생각한 이유를 「행과 열」, 「정해진 형식」이라는 말을 써서 설명해 보세요.

비정형 데이터란 무엇일까?

표에 넣을 수 없는 데이터는 어떻게 다뤄야 할까?

스마트폰에 저장된 사진 · 영상 · 메시지도 대부분 이런 데이터입니다.

비정형 데이터는 미리 정해진 틀이 없는 데이터입니다. 글, 사진, 소리 등이 여기에 속합니다.

용어 풀이

비정형(非定型) 데이터 unstructured data

한자로 보면

아닐 비(非) + 정형 → 정형이 아닌 데이터

영어로 보면

un-(∼이 아닌) + structured → 구조를 갖추지 않은 데이터

한자의 비(非)와 영어의 un-은 둘 다 앞에 붙어서 뜻을 뒤집는 말입니다. unhappy(행복하지 않은)가 그 예입니다. 그래서 정형의 뜻을 알면 비정형의 뜻도 알 수 있습니다.

뭐 해?

이제 저녁 먹으려고.

너희 집 강아지 사진 보고 싶은데, 보여 줄래?

텍스트

이미지 · 영상

음성

이 메신저 화면 한 장 안에도 텍스트 · 이미지 · 음성 세 종류의 비정형 데이터가 들어 있습니다. 어느 것도 이름 · 학번 · 점수처럼 칸으로 나눌 수 없습니다.

그래서 전처리가 필요합니다

형식이 갖춰져 있지 않으므로 특징이나 패턴을 분석하려면 먼저 전처리 작업을 해야 합니다.

전처리(前處理, preprocessing)는 데이터 과학 문제 해결 절차의 세 번째 단계로, 분석하기 「전에」 데이터를 정리하는 일입니다. 예를 들어 채팅 글을 분석하려면 먼저 단어로 쪼개야 하고, 사진을 분석하려면 크기를 똑같이 맞춰야 합니다.

점점 더 중요해지고 있습니다

스마트폰과 소셜 미디어가 널리 쓰이면서 사진, 음성, 텍스트 같은 비정형 데이터가 크게 늘었고, 그만큼 비정형 데이터 분석도 중요해지고 있습니다.

스스로 확인

설문의 자유 서술 칸에 「급식이 너무 짜요」, 「짜다」, 「너무 짜서 남김」처럼 같은 뜻의 답이 제각각 적혀 있습니다. 「짜다」는 답이 몇 개인지 세려면, 세기 전에 무엇을 해야 할까요?

둘을 어떻게 구분할까?

새로운 데이터를 만났을 때 무엇을 기준으로 판단할까?

기준 하나로 판단할 수 있습니다.

구분	정형 데이터 structured data	비정형 데이터 unstructured data
구조와 속성	명시적으로 정의되어 있다	명시적으로 정해져 있지 않다
생긴 모습	행과 열로 이루어진 표	텍스트, 이미지, 오디오 등
분석	처리와 분석이 비교적 쉽다	분석 전에 전처리 작업이 필요하다
예	성적표, 출석 기록, 도서 대출 기록	채팅 글, 사진, 녹음 파일, 수업 영상

판단 기준은 「이 데이터의 내용을 고치지 않고 그대로 표의 행과 열로 나누어 적을 수 있는가?」 나누어 적을 수 있으면 정형, 그럴 수 없으면 비정형입니다. 사진은 한 장이 통째로 하나의 값이라 그 안을 열로 나눌 수 없습니다. 분석하려면 점(픽셀) 하나하나의 색을 숫자로 바꾸는 식으로 먼저 형태를 바꿔야 합니다. 그 「먼저 바꾸는 일」이 바로 전처리입니다.

실제로는 둘이 섞여 있습니다

일상에서 만나는 데이터에는 정형 데이터와 비정형 데이터가 섞여 있는 경우가 많습니다. 앞에서 본 출석부가 그렇습니다. 학급 번호와 출결 기록은 표에 들어가는 정형이지만, 같은 출석부에 붙어 있는 학생 사진은 비정형입니다. 그래서 「이 파일은 정형이다」라고 통째로 말하기보다, 항목 하나하나를 두고 판단하는 편이 정확합니다.

더 알아보기: 반정형 데이터

반정형(半定型) 데이터 semi-structured data

반(半)과 semi-는 모두 「절반」을 뜻합니다. 즉 절반쯤 구조를 갖춘 데이터입니다.

정형과 비정형 사이에 반정형 데이터가 있습니다. 표 형태는 아니지만, 데이터의 구조를 알려 주는 정보를 데이터와 함께 담고 있는 데이터입니다.

「나는 이런 구조야」라는 설명서를 스스로 가지고 있는 데이터라고 생각하면 됩니다.

대표적인 반정형 데이터 구조

하이퍼텍스트 마크업 언어(HTML: HyperText Markup Language)
확장성 마크업 언어(XML: eXtensible Markup Language)
자원 기술 프레임워크(RDF: Resource Description Framework)
제이슨(JSON: JavaScript Object Notation)

반정형 데이터는 함께 담긴 구조 정보를 이용해 표 형태로 바꾸어 정형 데이터로 만들 수 있는 경우가 많습니다.

스스로 확인

학교 누리집에 올라온 「급식 식단표」와 「축제 사진첩」은 각각 어느 쪽일까요? 식단표가 날짜와 메뉴 칸으로 된 표가 아니라 한 장의 그림 파일로 올라와 있다면 답이 달라질까요?

학교 안의 데이터를 직접 찾아볼까?

배운 기준을 내 학교에 적용하면 어떻게 될까?

학교 안에 존재하는 다양한 데이터를 정형 데이터와 비정형 데이터로 구분하여 정리할 수 있을까요?

1

우리 학교 내의 데이터를 찾아보자

교실, 도서관, 급식실, 운동장, 행정실 — 장소를 하나씩 떠올리면 잘 나옵니다.

출석 데이터 수행 평가 점수 데이터 도서 대출 데이터 급식 신청 인원 교실 온도 기록 체육 대회 사진 교내 안내 방송 독후감

2

찾은 데이터를 정형과 비정형으로 구분해 보자

각 줄마다 왜 그렇게 판단했는지까지 적어야 합니다.

정형 데이터	비정형 데이터	그렇게 판단한 이유
도서 대출 데이터	—	누가 · 어떤 책을 · 언제 빌렸는지가 칸으로 정해져 있다.
—	TV 속 영상 데이터	영상은 통째로 하나의 값이라 그 안을 열로 나눌 수 없다.
출석 데이터	—	날짜와 학생 번호가 행과 열로 정리된다.
수행 평가 점수 데이터	—	이름과 점수가 짝지어져 바로 평균을 낼 수 있다.
—	체육 대회 사진	형식이 정해져 있지 않아 분석하려면 전처리가 필요하다.
—	교내 안내 방송	음성이라 내용을 분석하려면 먼저 글로 옮겨야 한다.
직접 찾은 것	직접 찾은 것	내용을 표의 행과 열로 그대로 나누어 적을 수 있나요?

구분이 헷갈리는 항목도 있습니다. 예를 들어 「독후감」은 글이라 비정형이지만, 거기에 붙은 「제출일 · 학번 · 제출 여부」는 정형입니다. 앞에서 본 것처럼 정형과 비정형이 섞인 데이터가 많습니다. 이럴 때는 항목을 쪼개어 각각 판단하세요.

스스로 확인

학교 누리집의 분실물 게시판 글에는 올린 날짜, 물건 사진, 잃어버린 사람이 쓴 설명이 함께 있습니다. 어느 부분이 정형이고 어느 부분이 비정형인지 나누어 설명해 보세요.

핵심 정리

데이터의 개념

data

느낌 그 자체는 데이터가 아니고, 의견을 남긴 기록은 데이터다
문제 해결 및 의사 결정을 위한 재료로 수집된다
연결해 분석하면 새로운 사실을 발견할 수 있다
하나의 물건에도 여러 데이터가 들어 있다

정형 데이터

structured data

구조와 속성이 명시적으로 정의되어 있다
행과 열로 이루어진 표의 형식과 구조
구조와 의미가 명확해 처리 · 분석이 비교적 쉽다
이름 · 학번 · 점수 표와 출석 기록이 그렇다

비정형 데이터

unstructured data

구조와 속성이 명시적으로 정해지지 않았다
텍스트 · 이미지 · 오디오 등
패턴 분석을 위해 전처리 작업이 필요하다
구분하는 물음은 「내용을 고치지 않고 그대로 표의 행과 열로 나누어 적을 수 있는가」이고, 섞여 있으면 항목마다 판단한다

확인 퀴즈

배운 내용을 확인해 봅시다.

Q1

데이터에 대한 설명으로 가장 알맞은 것은?

Q2

정형 데이터의 특징으로 알맞지 않은 것은?

Q3

다음 중 비정형 데이터가 아닌 것은?

Q4

비정형 데이터에 전처리 작업이 필요한 이유로 가장 알맞은 것은?