네 가지 길
물음을 세웠으면 그 물음에 답할 데이터를 구해야 합니다. 구하는 길은 크게 넷입니다. 어느 길로 갈지는 물음이 정합니다. 반대로 길부터 정하고 물음을 맞추면 구하기 쉬운 데이터가 물음을 끌고 가게 됩니다.
공개 데이터를 받아 온다
나라와 공공 기관, 연구 단체가 누구나 쓰라고 열어 둔 데이터입니다. 양이 많고 오래 쌓여 있으며, 어떻게 모았는지가 함께 적혀 있는 경우가 많습니다.
아쉬운 점 — 내가 알고 싶은 것과 딱 맞는 항목이 없을 때가 많습니다.
직접 측정한다
초시계나 온도계로 측정하거나 센서를 단 장치로 값을 모으는 것이 이 길입니다. 내가 원하는 값을 원하는 자리에서 얻을 수 있습니다.
아쉬운 점 — 시간이 걸리고, 모을 수 있는 양이 적습니다. 장치가 놓인 그 자리 이야기뿐입니다.
사람에게 묻는다
설문이나 면담입니다. 생각과 까닭처럼 기계가 읽을 수 없는 것을 당사자에게서 직접 얻는 길입니다.
아쉬운 점 — 답한 사람만 담깁니다. 관심 있는 사람이 주로 답하므로 치우치기 쉽습니다.
누리집에서 수집한다
화면에 보이는 것을 프로그램이 차례로 읽어 모으는 방법입니다. 공개 데이터로 정리되지 않은 것도 얻을 수 있습니다.
아쉬운 점 — 화면이 바뀌면 프로그램도 다시 고쳐야 하고, 허락된 범위를 반드시 확인해야 합니다.
물음에 맞는 길 고르기
| 이런 물음이라면 | 이 길이 알맞다 |
|---|---|
| 「지난 10년 동안 어떻게 달라졌나」 | 공개 데이터 — 오래 쌓인 것은 직접 모을 수 없다 |
| 「우리 교실은 지금 어떤가」 | 직접 측정 — 우리 교실의 지금 값은 아무도 대신 모아 두지 않았다 |
| 「왜 그렇게 했나」 | 사람에게 묻기 — 까닭은 센서로도 기록으로도 안 나온다 |
| 「사람들이 무엇에 대해 이야기하나」 | 누리집에서 수집하기 — 다만 허락된 범위 안에서만 |
두 가지 길을 섞어 쓰는 것도 좋습니다. 공개 데이터로 큰 흐름을 보고, 설문으로 「왜 그런가」를 물으면 서로의 빈자리를 메워 줍니다.
「우리 학교 학생들은 왜 도서관을 잘 안 갈까」에 답하려면 어느 길이 필요할까요? 하나로 될까요, 둘을 섞어야 할까요?
공개 데이터
네 길 가운데 학교 수업에서 곧바로 쓰기 쉬운 것은 공개 데이터입니다. 어디에서 찾을 수 있는지 몇 곳만 소개하겠습니다.
| 어디 | 무엇이 있나 |
|---|---|
| 공공데이터포털 data.go.kr |
여러 공공 기관이 모아 둔 데이터가 한곳에 있다. 시설 위치, 이용 현황, 안전 관련 기록 같은 것이 많다. |
| 국가통계포털 kosis.kr |
인구 · 가구 · 물가처럼 나라 전체를 오래 세어 온 통계가 있다. 여러 해를 나란히 놓고 보기에 좋다. |
| 기상자료개방포털 data.kma.go.kr |
기상청이 관측 지점마다 날마다 남긴 기온 · 강수 · 바람 기록이 있다. |
| 캐글 kaggle.com/datasets |
전 세계 사람들이 올려 둔 연습용 데이터가 많다. 다만 누가 어떻게 모았는지를 꼭 확인해야 한다. |
기관의 세 곳과 캐글은 성격이 다르다
공공데이터포털 · 국가통계포털 · 기상자료개방포털은 기관이 책임지고 모아 공개한 데이터입니다. 어떻게 측정했고 무엇이 빠졌는지가 대개 함께 적혀 있습니다. 캐글은 여러 사람이 데이터를 올리는 곳이라서, 잘 정리된 것도 있고 출처가 불분명한 것도 섞여 있습니다.
연습용으로는 좋지만, 결론을 뒷받침하는 근거로 쓸 때는 원래 어디서 나온 것인지 따라가 확인해야 합니다.
받을 때 살펴볼 것
- 어느 범위인가 — 전국인가 한 지역인가, 몇 년치인가
- 어떤 꼴인가 — 표로 된 파일인지, 그림이나 문서인지
- 얼마나 자주 갱신되나 — 오래 멈춰 있는 데이터일 수도 있다
- 어떻게 쓸 수 있나 — 출처를 밝히면 되는지, 다른 조건이 있는지
네 곳 가운데 한 곳에 들어가 관심 있는 데이터를 하나 찾아보세요. 「받을 때 살펴볼 것」 네 가지에 답할 수 있나요?
지켜야 할 것
데이터를 모으는 일은 남에 대한 것을 모으는 일일 때가 많습니다. 그래서 기술보다 먼저 정해야 할 것이 있습니다. 세 가지만 확인하겠습니다.
하나 — 누구인지 알 수 없게 한다
학교에서 다루는 데이터에는 이름 · 학번 · 연락처가 들어 있기 쉽습니다. 분석에 이 값이 필요한 경우는 거의 없습니다. 학년별로 세려면 학년만 있으면 되고, 이름은 필요 없습니다.
그래서 받자마자 지우는 것이 원칙입니다. 「나중에 필요할지도 모르니」는 위험한 생각입니다. 이 강의노트의 예시에서 이름을 「학생 A」로 적는 것도 같은 이유입니다.
둘 — 지웠다고 안심하지 않는다
이름을 지워도 다른 값들을 겹쳐 보면 누구인지 드러날 수 있습니다. 「3학년 · 축구부 · 안경 · 화요일마다 늦게 빌림」이 모이면 한 사람으로 좁혀집니다.
그래서 사람 수가 적은 칸을 조심해야 합니다. 「3학년 여학생 축구부」가 두 명뿐이라면, 그 칸의 값은 사실상 그 두 사람의 값입니다. 이럴 때는 더 큰 묶음으로 합쳐 발표합니다.
셋 — 허락된 범위 안에서만 가져온다
- 공개 데이터라도 쓰는 조건이 붙어 있습니다. 대개는 출처를 밝히면 되지만, 조건을 읽어 보고 쓰는 것이 맞습니다.
- 설문은 무엇에 쓸지 미리 알리고 답을 받습니다. 나중에 다른 데 쓰려면 다시 물어야 합니다.
- 누리집에서 모을 때는 그 누리집이 정해 둔 범위를 확인합니다. 또 짧은 시간에 몰아서 요청하지 않습니다. 남의 서버에 부담을 주는 일이기 때문입니다.
세 가지 모두 「할 수 있는가」가 아니라 「해도 되는가」를 묻고 있습니다. 기술로는 대부분 가능합니다. 그래서 스스로 선을 그어야 합니다.
반별로 나눈 표에서 어떤 칸에 한 명밖에 없다면 어떻게 하는 것이 좋을까요? 그대로 두면 무엇이 문제인가요?
받으면 먼저 볼 것
파일을 내려받으면 바로 열어 계산하고 싶어집니다. 그 전에 다섯 가지를 확인하세요. 이것을 적어 두면 나중에 보고서를 쓸 때 그대로 옮겨 쓸 수 있습니다.
| 확인할 것 | 왜 봐야 하나 |
|---|---|
| 누가 모았나 | 기관이 모은 것과 개인이 올린 것은 모은 방법을 확인할 수 있는 정도가 다르다. |
| 언제 것인가 | 몇 해 전에 멈춘 데이터로 지금을 말하면 틀릴 수 있다. |
| 어디까지 담겼나 | 전국인지 한 지역인지, 어떤 사람이 빠져 있는지를 본다. |
| 어떻게 측정했나 | 기계가 측정한 것인지, 사람이 적은 것인지, 설문에 답한 것인지에 따라 성격이 다르다. |
| 각 칸이 무슨 뜻인가 | 칸 이름만 보고 짐작하면 틀리기 쉽다. 설명 문서를 함께 받는다. |
칸의 뜻은 이름만 보고는 드러나지 않는다
「이용자 수」라는 칸이 있다고 합시다. 이것은 다녀간 사람의 수일까요, 회원으로 등록한 사람의 수일까요? 아니면 같은 사람이 여러 번 온 것을 각각 센 것일까요?
셋은 전혀 다른 값인데 이름은 똑같습니다. 설명 문서를 안 읽고 계산하면 숫자는 나오지만 뜻이 없는 결과가 됩니다.
해 보기 — 출처 카드 만들기
쓰려는 데이터마다 카드 한 장을 만들어 두세요. 아래 다섯 줄이면 됩니다.
- 이름과 주소 — 어디서 받았는지 다시 갈 수 있게
- 모은 곳과 시기
- 담긴 범위와 빠져 있는 것
- 쓴 칸과 그 칸의 정확한 뜻
- 쓰는 조건 — 출처를 어떻게 밝혀야 하는지
보고서를 쓸 때 이 카드를 그대로 옮겨 붙이면 출처가 완성됩니다. 나중에 다시 찾느라 시간을 쓰지 않아도 됩니다.
「급식 인원」이라는 칸을 서로 다른 뜻 두 가지로 읽어 보세요. 우리 학교 급식실이라면 어느 쪽으로 세고 있을까요?
핵심 정리
네 가지 길
- 공개 데이터 · 직접 측정 · 사람에게 묻기 · 누리집에서 수집하기.
- 어느 길로 갈지는 물음이 정한다. 길부터 정하면 물음이 끌려간다.
- 두 길을 섞으면 서로의 빈자리를 메울 수 있다.
공개 데이터
- 공공데이터포털 · 국가통계포털 · 기상자료개방포털 같은 곳에서 얻는다.
- 기관이 공개한 것과 여러 사람이 올린 것은 성격이 다르다.
- 받을 때 범위 · 꼴 · 갱신 · 쓰는 조건을 본다.
지켜야 할 것
- 이름 · 학번은 받자마자 지운다. 「나중에 필요할지도」는 위험한 생각이다.
- 지웠어도 여러 값을 겹치면 누구인지 드러난다. 사람 수가 적은 칸을 조심한다.
- 「할 수 있는가」가 아니라 「해도 되는가」를 묻는다.
받으면 먼저 볼 것
- 누가 · 언제 · 어디까지 · 어떻게 · 각 칸의 뜻 다섯.
- 놓치기 쉬운 곳은 칸의 뜻이다. 이름이 같아도 세는 방법이 다를 수 있는데, 이름만 보고는 드러나지 않는다.
- 출처 카드를 만들어 두면 보고서에 그대로 옮겨 쓸 수 있다.
확인 퀴즈
배운 내용을 확인해 봅시다.
「왜 그렇게 했는지」를 알고 싶을 때 알맞은 길은?
설문으로 모은 데이터에서 조심할 점은?
이름을 지웠는데도 누구인지 드러날 수 있는 까닭은?
데이터를 받았을 때 칸 이름만 보고는 알 수 없어 놓치기 쉬운 확인 항목은?