전체 흐름
빅데이터로 문제를 풀 때는 물음을 정하고, 데이터를 모으고, 그림으로 그립니다. 이제 그린 그림에서 무언가를 찾아내고 답을 도출하는 마지막 단계입니다. 그 전에 전체 흐름을 한 줄에 늘어놓아 봅시다.
분석 — 데이터에서 무언가를 찾아내는 일
데이터 사이의 관계나 반복되는 모양, 규칙을 찾아내는 일 전체를 가리킵니다. 그리는 것도, 평균을 내는 것도, 쌓인 값에서 규칙을 찾아내는 것도 모두 분석입니다.
해석 — 찾아낸 것이 무슨 뜻인지 말하는 일
분석이 내놓은 것을 처음의 물음에 대한 답으로 바꾸는 일입니다. 「수요일 막대가 가장 높다」가 분석의 결과라면, 「수요일 메뉴를 바꿔야 한다」가 해석입니다.
구분하는 물음: 데이터가 그렇게 말했는가
일어난 일을 밝히는 분석의 결과는 데이터에 적혀 있는 것이라 누가 해도 같습니다. 「수요일 값이 9로 가장 크다」는 다툴 여지가 없습니다. 그런데 해석은 다릅니다. 사람이 데이터 바깥의 것을 끌어와 붙이는 일이라 사람마다 달라질 수 있습니다.
이 구별이 중요한 까닭은, 해석을 분석인 것처럼 말하면 다툴 수 없는 주장이 되기 때문입니다. 「데이터가 그렇게 말한다」고 하면 반박하기 어렵습니다. 그러니 무엇이 데이터에 적힌 것이고 무엇이 내가 덧붙인 것인지를 늘 구분해서 말해야 합니다.
「금요일 잔반량이 4kg으로 가장 적었다」와 「금요일 메뉴가 가장 인기 있었다」 가운데 분석은 어느 쪽이고 해석은 어느 쪽일까요?
네 가지 물음
분석에는 여러 갈래가 있는데, 어떤 물음에 답하려는가로 나누면 넷이 됩니다. 뒤로 갈수록 어려워지고, 대개 앞의 것이 뒤의 것의 바탕이 됩니다.
설명적 분석 — 「무슨 일이 있었나?」
일어난 일을 있는 그대로 밝힙니다. 「지난주 잔반량은 모두 32kg이었고 수요일이 가장 많았다」가 여기에 포함됩니다. 가장 기본이며, 이것이 틀리면 진단 · 예측 · 처방이 전부 틀립니다.
진단 분석 — 「왜 그랬나?」
까닭을 찾습니다. 「수요일에 잔반이 많았던 것은 그날 메뉴에 나물이 두 가지 나왔기 때문으로 보인다」가 여기에 포함됩니다. 다른 데이터를 함께 봐야 합니다.
예측 분석 — 「앞으로 어떻게 될까?」
지금까지의 모양이 이어진다고 보고 앞일을 헤아립니다. 「다음 주 수요일에도 나물이 나오니 잔반이 많겠다」가 여기에 포함됩니다. 맞을 수도 틀릴 수도 있습니다.
처방적 분석 — 「그럼 무엇을 할까?」
어떻게 하면 좋을지까지 내놓습니다. 「나물을 하루에 한 가지만 내고 조리법을 바꿔 보자」가 여기에 포함됩니다. 사람의 판단과 결정이 가장 많이 들어갑니다.
넷이 층으로 쌓여 있습니다
무슨 일이 있었는지 모르면 왜 그랬는지 물을 수 없고, 왜 그랬는지 모르면 앞으로 어떻게 될지 헤아릴 수 없습니다. 순서를 건너뛴 처방은 근거가 없습니다.
누가 해도 같은 결과가 나오는 것은 설명적 분석까지입니다. 진단부터는 「~때문으로 보인다」처럼 데이터 바깥의 짐작이 섞이고, 처방에 이르면 무엇을 할지 사람이 정합니다. 그래서 뒤로 갈수록 분석 안에 해석이 많이 들어가고, 사람마다 다른 답이 나올 수 있습니다.
그런데 모든 문제에 넷을 다 해야 하는 것은 아닙니다. 「우리 반이 지난달에 책을 몇 권 빌렸나」를 알고 싶은 것뿐이라면 설명적 분석에서 끝내면 됩니다. 어디까지 갈지는 처음에 정한 물음이 결정합니다.
「내일 우산을 챙겨야 할까?」라는 물음은 넷 가운데 어디에 해당할까요? 그 답을 얻으려면 그 앞의 어느 단계를 거쳐야 할까요?
해석해 보기
요일별 급식 잔반량(월 8 · 화 6 · 수 9 · 목 5 · 금 4, 단위 kg) 그래프로 실제로 해석을 해 봅시다. 물음은 「급식 잔반을 줄이려면 무엇을 바꿔야 하는가」입니다.
| 단계 | 말할 수 있는 것 | 어느 분석인가 |
|---|---|---|
| 그림에서 읽기 | 수요일이 9kg으로 가장 많고, 금요일이 4kg으로 가장 적다 | 설명적 |
| 다른 값과 비교하기 | 반찬별로 보면 나물이 가장 많이 남았고, 수요일에 나물이 두 가지 나왔다 | 진단 |
| 앞일 헤아리기 | 다음 주 수요일에도 나물이 두 가지라면 잔반이 다시 많아지겠다 | 예측 |
| 할 일 정하기 | 하루에 나물은 한 가지만 내고, 조리법을 바꿔 한 주 더 측정해 본다 | 처방적 |
「할 일 정하기」의 「한 주 더 측정해 본다」가 중요합니다
처방으로 끝내지 않고 바꾼 뒤에 다시 측정하기로 한 것에 주목하세요. 나물을 줄였는데도 잔반이 그대로라면 진단이 틀렸을 수 있다는 뜻입니다. 그러면 처음으로 돌아가 다른 까닭을 찾아야 합니다.
이 흐름은 직선이 아니라 고리입니다. 해석하고 고치고 다시 측정하는 것이 한 바퀴이고, 그 바퀴를 돌면서 답이 좋아집니다.
해석을 적을 때 지켜야 할 것이 하나 있습니다. 어디까지가 데이터에 적힌 것이고 어디부터가 내 짐작인지 밝히는 것입니다. 표의 「다른 값과 비교하기」 줄을 다시 보세요.
데이터에 적힌 것
- 수요일 잔반량이 9kg으로 가장 많다
- 반찬별로는 나물이 가장 많이 남았다
- 수요일 메뉴에 나물이 두 가지 있었다
내가 덧붙인 짐작
- 수요일에 많이 남은 까닭이 나물 때문이다
- 나물을 줄이면 잔반이 줄어들 것이다
데이터는 나물이 많이 남았다고만 말했습니다. 그것이 원인이라고는 말하지 않았습니다.
「내가 덧붙인 짐작」 상자의 문장들이 틀렸다는 뜻이 아닙니다. 그럴듯한 짐작입니다. 다만 짐작이라는 것을 밝히고, 확인할 방법을 함께 내놓아야 합니다. 그것이 표의 「할 일 정하기」 줄에 있는 「한 주 더 측정해 본다」입니다.
나물을 한 가지로 줄였는데도 수요일 잔반이 그대로였습니다. 어느 단계로 돌아가야 할까요? 그리고 다음으로 무엇을 살펴보겠습니까?
해석이 나뉠 때
같은 그래프를 보고도 사람마다 다른 결론을 내는 일이 흔합니다. 그것이 누군가 잘못 읽어서만은 아닙니다. 해석은 데이터 바깥의 것을 끌어와 붙이는 일이라, 무엇을 끌어오느냐에 따라 답이 달라집니다.
생각할 상황
학교 도서관 대출 기록을 보니 3학년의 대출 건수가 1학년의 절반이었습니다. 이것을 어떻게 읽어야 할까요?
해석 A
「3학년은 입시 준비로 바빠 책 읽을 시간이 없다. 3학년을 위한 짧은 읽을거리를 늘리자.」
해석 B
「3학년 교실이 도서관에서 가장 멀다. 가는 데 시간이 걸려 덜 빌린다. 3학년 층에 책을 가져다 두자.」
둘 다 데이터와 어긋나지 않습니다
데이터가 말한 것은 「3학년이 적게 빌렸다」뿐입니다. 「바빠서」도 「멀어서」도 데이터에는 없는 말입니다. 각자가 학교에 대해 알고 있는 것을 끌어와 붙인 것입니다.
그러니 「데이터가 그렇게 말한다」로 서로를 이길 수 없습니다. 이럴 때 할 일은 목소리를 높이는 것이 아니라 어느 짐작이 맞는지 판단할 데이터를 더 찾는 것입니다. 3학년의 하루 남는 시간을 물어보거나, 3학년 층에 책을 시험 삼아 두어 보고 대출이 늘어나는지 측정해 보면 됩니다.
예측은 자주 빗나갑니다
예측 분석은 「지금까지의 모양이 앞으로도 이어진다」는 가정 위에 서 있습니다. 그 가정이 깨지면 예측도 함께 무너집니다. 실제로 사람들의 검색어를 모아 병이 도는 것을 미리 알아내려던 서비스가 한동안 잘 맞다가 크게 빗나간 일이 있었습니다. 사람들이 병에 걸려서가 아니라 뉴스를 보고 궁금해서 검색한 것까지 함께 세었기 때문이라는 분석이 많습니다.
여기서 배울 것은 둘입니다. 첫째, 함께 움직인다고 원인은 아니라는 것이 예측에서도 그대로입니다. 둘째, 한동안 잘 맞았다는 것이 앞으로도 맞는다는 보장이 아닙니다. 그래서 예측을 쓰는 시스템은 계속 확인하고 고쳐 나가야 합니다.
해석을 적을 때 함께 적을 것
- 근거 — 어느 값을 보고 그렇게 말했는가.
- 짐작 — 데이터에 없는데 내가 덧붙인 것은 무엇인가.
- 한계 — 이 데이터로는 알 수 없는 것은 무엇인가. 누가 빠져 있는가.
- 확인할 방법 — 내 짐작이 맞는지 어떻게 확인할 것인가.
넷을 함께 적으면 남이 내 해석을 검토할 수 있게 됩니다. 검토할 수 없는 해석은 아무리 그럴듯해도 믿을 근거가 없습니다.
해석은 사람에 대한 결정으로 이어질 때가 많으므로, 그 힘을 쓰는 사람이 무엇을 조심해야 하는지도 함께 물어야 합니다.
해석 A와 B 말고 세 번째 해석을 하나 만들어 보세요. 그리고 그것이 맞는지 확인하려면 어떤 데이터를 더 봐야 할지 적어 보세요.
핵심 정리
분석과 해석
- 문제 정의 → 수집 → 시각화 → 분석 → 해석의 흐름으로 이어진다.
- 일어난 일을 밝히는 분석(설명적 분석)은 데이터에 적힌 것이라 누가 해도 같다. 진단부터는 짐작이 섞인다.
- 해석은 데이터 바깥의 것을 끌어와 붙이는 일이라 사람마다 다를 수 있다.
네 가지 물음
- 무슨 일이 있었나(설명적) → 왜 그랬나(진단) → 앞으로 어떻게 될까(예측) → 무엇을 할까(처방적).
- 층으로 쌓여 있어 대개 앞의 것이 뒤의 것의 바탕이 된다.
- 모든 문제에 넷을 다 할 필요는 없다. 처음에 정한 물음이 어디까지 갈지 정한다.
해석하는 법
- 어디까지가 데이터에 적힌 것이고 어디부터가 짐작인지 구분해서 적는다.
- 고친 뒤 다시 측정하는 것까지가 한 바퀴다. 결과가 그대로면 진단이 틀렸을 수 있다.
해석이 나뉠 때
- 「데이터가 그렇게 말한다」로 서로를 이길 수 없다. 어느 쪽이 맞는지 판단할 데이터를 더 찾는다.
- 예측은 「지금까지의 모양이 이어진다」는 가정 위에 선다. 가정이 깨지면 무너진다.
- 해석에는 근거 · 짐작 · 한계 · 확인할 방법을 함께 적는다.
확인 퀴즈
배운 내용을 확인해 봅시다.
「이번 달 지각한 학생은 모두 열두 명이었다」는 어느 분석일까요?
분석과 해석의 차이로 가장 알맞은 것은?
같은 데이터를 두고 두 사람이 다른 해석을 내놓았습니다. 가장 알맞은 다음 행동은?
검색어로 병의 유행을 알아내던 서비스가 한동안 잘 맞다가 크게 빗나간 일에서 배울 것으로 알맞은 것은?