데이터와 정보
「17, 22, 19, 25, 21」이라는 다섯 개의 숫자가 있습니다. 무슨 뜻일까요? 알 수 없습니다. 나이일 수도, 온도일 수도, 반 학생 수일 수도 있습니다. 값만으로는 아무 말도 하지 않습니다.
데이터(data)
측정하거나 세어 적어 둔 값 자체입니다. 아직 무엇을 뜻하는지 정해지지 않았고, 참인지 거짓인지도 말하지 않습니다.
정보(information)
데이터를 어떤 물음에 답하도록 정리한 것입니다. 「5월 중 가장 더운 날은 언제였나」에 답하는 순간 데이터는 정보가 됩니다.
같은 다섯 숫자로 「닷새 평균은?」이라고 물으면 20.8이라는 다른 정보가 나옵니다. 「점점 더워지고 있나?」라고 물으면 「그렇다고 보기 어렵다」는 또 다른 답이 나옵니다. 물음이 정보를 만듭니다.
그래서 「데이터를 분석해 보자」는 아직 아무 계획도 아니다
「데이터를 모은다」도 아직 아무것도 정한 것이 아닙니다. 물음이 없으면 정리할 방향이 정해지지 않아, 평균도 내 보고 그래프도 그려 보다가 시간만 갑니다.
우리 반 출석 기록은 데이터입니다. 이것으로 답할 수 있는 물음을 서로 다른 세 가지만 만들어 보세요.
세 갈래
데이터는 생김새가 아주 다양합니다. 다루는 방법을 정하려면 먼저 갈래를 나누어야 합니다. 구분하는 기준은 하나입니다. 표에 가지런히 들어가는가입니다.
| 갈래 | 생김새 | 보기 |
|---|---|---|
| 정형 데이터 | 가로줄과 세로줄이 정해져 있어 그대로 표가 된다. 어느 칸에 무엇이 들어갈지 미리 정해져 있다. | 출석부, 성적표, 가계부, 기온 관측 기록 |
| 반정형 데이터 | 표는 아니지만 값마다 이름표가 붙어 있다. 「제목은 이것, 쓴 날짜는 이것」처럼 무엇인지 알 수 있게 되어 있다. | 누리집이 주고받는 자료, 사진에 딸린 촬영 정보 |
| 비정형 데이터 | 정해진 틀이 없다. 어디까지가 무엇인지 사람이 읽어야 알 수 있다. | 감상문, 사진, 소리, 영상, 손으로 쓴 쪽지 |
갈래는 딱 잘라 나뉘지 않습니다. 가운데 갈래가 있다는 것부터가 그렇습니다. 감상문이라도 「누가 · 언제 · 어떤 책에 대해」가 따로 적혀 있으면 그 부분만은 정형에 가깝습니다. 그래서 한 덩어리 안에 여러 갈래가 섞여 있는 경우가 흔합니다.
학교 알림장을 세 갈래로 구분해 보세요. 어느 부분이 정형이고 어느 부분이 비정형인가요?
왜 구분하나
갈래 이름을 외우는 것이 목적이 아닙니다. 다루는 방법이 완전히 달라지기 때문에 구분합니다.
| 비교할 점 | 정형 데이터 | 비정형 데이터 |
|---|---|---|
| 세거나 더하기 | 바로 된다. 「평균」 · 「가장 큰 값」이 곧바로 나온다 | 먼저 숫자로 바꾸어야 한다. 글이라면 낱말을 세는 식이다 |
| 찾기 | 「3월이면서 2학년인 줄」을 정확히 골라낼 수 있다 | 「비슷한 내용의 글」은 기준을 사람이 정해 주어야 한다 |
| 저장 공간 | 작다. 숫자와 짧은 글자뿐이다 | 크다. 사진 한 장이 표 수천 줄보다 클 수 있다 |
| 양 | 세상에 쌓이는 데이터 가운데 적은 쪽으로 꼽힌다 | 훨씬 많은 쪽으로 꼽힌다. 사진 · 메시지 · 영상처럼 우리가 날마다 만드는 것이 여기에 들어간다 |
「양」 줄이 중요합니다. 다루기 쉬운 쪽이 오히려 적습니다. 우리가 하루에 만드는 것을 떠올려 보세요 — 사진, 메시지, 영상, 목소리. 정해진 표에 들어가는 것은 거의 없습니다.
그래서 자주 하는 일 — 표로 만들어 두기
비정형 데이터를 다룰 때 흔히 쓰는 방법은 먼저 표로 옮기는 것입니다. 감상문 백 편이 있다면 「글쓴이 · 책 · 글자 수 · 가장 많이 나온 낱말」로 표를 만듭니다. 그러면 그다음부터는 정형 데이터를 다루듯 할 수 있습니다.
다만 표로 옮기는 순간 버려지는 것이 생깁니다. 글의 말투, 문장의 흐름, 마지막 한 줄의 여운은 표에 담기지 않습니다. 무엇을 버렸는지 알고 옮기는 것이 중요합니다.
노래 한 곡을 표로 옮긴다면 어떤 칸을 만들 수 있을까요? 그리고 그때 버려지는 것은 무엇일까요?
빅데이터
요즘 자주 들리는 말입니다. 그런데 「몇 기가바이트부터 빅데이터인가」라는 기준은 없습니다. 크기로 정해지는 말이 아니기 때문입니다.
빅데이터(big data)
지금까지 쓰던 방법으로는 다루기 어려울 만큼 크고, 빠르게 쌓이고, 생김새가 제각각인 데이터를 이르는 말입니다. 「어렵다」는 기준이 들어 있으므로, 도구가 좋아지면 같은 데이터도 빅데이터가 아니게 됩니다.
무엇이 어려운가 — 세 가지
양이 많다
한 대의 컴퓨터에 다 들어가지 않습니다. 여러 대에 나누어 담고 나누어 계산해야 합니다.
빠르게 쌓인다
모아 두었다가 나중에 보는 것으로는 늦습니다. 들어오는 대로 처리해야 하는 경우가 많습니다.
생김새가 제각각이다
표와 글과 사진이 섞여 들어옵니다. 한 가지 방법으로 다 다룰 수 없습니다.
크다고 답이 나오지는 않는다
「데이터가 많으면 좋은 결과가 나온다」는 말은 절반만 맞습니다. 많으면 우연히 생긴 흔들림에 속을 위험은 줄어듭니다. 그러나 치우친 데이터는 아무리 많아도 치우친 채입니다.
한 학교에서만 백만 건을 모아도 다른 학교 이야기는 알 수 없습니다. 양이 늘어난다고 빠져 있는 사람이 채워지지는 않습니다. 자료가 없는 곳은 분석에서 빠지고, 분석에서 빠지면 자료를 모을 까닭도 적어집니다.
그래서 데이터를 볼 때 「얼마나 많은가」보다 「어디서 온 것인가」를 먼저 물어야 합니다. 어떻게 모은 데이터인지를 모르면, 그 데이터로 낸 결론이 어디까지 믿을 만한지도 말할 수 없습니다.
「도구가 좋아지면 같은 데이터도 빅데이터가 아니게 된다」고 했습니다. 이 말이 왜 자연스러운지 빅데이터의 정의로 설명해 보세요.
핵심 정리
데이터와 정보
- 데이터는 적어 둔 값 자체이고, 정보는 어떤 물음에 답하도록 정리한 것이다.
- 같은 데이터라도 물음이 달라지면 다른 정보가 나온다.
- 「데이터를 분석해 보자」는 아직 아무 계획도 아니다.
세 갈래
- 구분하는 기준은 표에 가지런히 들어가는가다.
- 정형은 그대로 표가 되고, 반정형은 이름표는 붙어 있고, 비정형은 틀이 없다.
- 한 덩어리 안에 여러 갈래가 섞여 있는 경우가 흔하다.
왜 구분하나
- 갈래마다 세는 법 · 찾는 법 · 저장 공간이 다르다.
- 다루기 쉬운 쪽이 오히려 적다. 사진 · 메시지 · 영상처럼 날마다 만드는 것은 대개 비정형이다.
- 비정형을 표로 옮기면 다루기 쉬워지지만 버려지는 것이 생긴다.
빅데이터
- 지금 쓰던 방법으로 다루기 어려운 데이터를 이르는 말이다. 크기 기준은 없다.
- 어려운 까닭은 양 · 속도 · 제각각인 생김새 셋이다.
- 치우친 데이터는 아무리 많아도 치우친 채다. 「얼마나 많은가」보다 「어디서 왔는가」를 먼저 묻는다.
확인 퀴즈
배운 내용을 확인해 봅시다.
데이터가 정보가 되려면 무엇이 있어야 하나요?
다음 가운데 비정형 데이터에 가장 가까운 것은?
비정형 데이터를 표로 옮길 때 잊지 말아야 할 것은?
「데이터가 많으면 좋은 결과가 나온다」에 대한 알맞은 평가는?