데이터 과학이란 무엇일까?
데이터를 모으기만 하면 저절로 답이 나올까?
오늘날에는 개인의 일상부터 전 지구적 문제까지 많은 일이 데이터로 기록됩니다. 이 데이터를 분석하면 문제의 원인을 파악하고 해결 방법을 찾을 수 있습니다.
데이터 과학 (data science)
대량의 데이터를 다양하게 분석하여 정보와 지식을 찾아내는 학문입니다. 데이터에 숨겨진 패턴을 발견하고 예측하며, 그 결과를 근거로 합리적인 결정을 내립니다.
「정보와 지식을 찾아낸다」는 게 무슨 뜻일까?
데이터는 모아 두는 것만으로는 쓸모가 생기지 않습니다. 데이터 과학은 흩어진 기록(데이터)에서 의미(정보)를 추출하고, 다시 다음에 무엇을 할지(지식)로 연결하는 일입니다. 학교 매점의 아이스크림 판매 기록을 예로 듭니다.
쌓여 있기만 한 기록
3월 2일 12개
3월 3일 5개
3월 4일 31개…
→ 아직은 숫자일 뿐입니다.
기록에서 읽어 낸 의미
판매 기록에 그날 기온을 나란히 놓고 보니 기온이 높은 날일수록 많이 팔렸다.
→ 이렇게 반복해서 나타나는 관계를 패턴이라고 합니다.
행동으로 이어지는 판단
내일 기온이 25℃를 넘는다니 아이스크림을 평소보다 많이 준비하자.
→ 아직 오지 않은 내일을 예측해 결정을 내렸습니다.
정의에 나온 「패턴을 발견」은 2단계이고, 「예측」과 「합리적인 결정」은 3단계입니다. 정의가 어렵다면 이 세 단계를 기억하면 됩니다.
데이터 과학에 필요한 것들
데이터 과학은 한 분야의 지식만으로는 할 수 없습니다. 실제 세계의 문제는 단편적이지 않고 서로 다른 분야의 지식이 복잡하게 얽혀 있기 때문에, 여러 분야의 전문 지식을 함께 활용합니다.
컴퓨터 과학
인공지능
통계학
수학
도메인 지식
상상력
도메인 지식(domain knowledge)이란 각 분야의 전문 지식을 말합니다. domain은 「영역 · 분야」라는 뜻입니다. 예를 들어 농작물 데이터를 분석하려면 농업에 대한 지식이 함께 있어야 데이터가 무엇을 뜻하는지 해석할 수 있습니다.
도메인 지식이 없으면 어떻게 될까?
데이터만 볼 줄 알고 그 분야를 모르면 숫자는 맞는데 해석이 틀리는 일이 생깁니다. 어떤 농장의 데이터를 분석했더니 이런 결과가 나왔다고 해 봅시다.
「물을 많이 준 밭일수록 수확량이 낮다.」
농업을 모르는 사람의 해석
「물이 수확량을 떨어뜨리는구나. 물을 줄이자.」
농업을 아는 사람의 해석
「원래 메마른 밭이라 물을 더 준 것일 수 있다. 그렇다면 수확량이 낮은 원인은 물이 아니라 땅이다.」
함께 움직인다고 해서 원인이라고 단정할 수는 없습니다. 데이터는 「물」과 「수확량」이 함께 움직인다는 것까지만 보여 줍니다. 둘 중 무엇이 원인인지, 아니면 숨은 다른 원인(땅)이 있는지는 데이터만으로는 판단할 수 없고, 그 분야를 아는 사람이 함께 검토해야 합니다. 그래서 데이터 과학에는 도메인 지식이 필요합니다.
데이터 과학은 왜 지금 중요해졌을까?
데이터의 양과 종류가 빠르게 늘고, 데이터를 수집 · 처리 · 분석하는 기술도 크게 발전하면서 데이터 과학이 다루는 문제가 넓어졌습니다. 지금은 산업의 문제뿐 아니라 사회·경제적인 문제, 그리고 지속가능발전목표(SDGs)가 내건 기후 변화 · 빈곤 같은 전 지구적 문제도 다룹니다. SDGs가 무엇인지는 아래 낯선 말 상자에서 풉니다.
가까이는 내비게이션이 실시간 교통 데이터로 가장 빠른 길과 도착 시간을 계산하는 일상에서, 멀리는 환경 변화 데이터로 위험을 미리 알아차려 대응하는 지속가능한 발전 분야에서 데이터 과학이 쓰입니다.
어느 도시의 기록을 분석했더니 「우산이 많이 팔린 날일수록 교통사고가 많았다」는 결과가 나왔습니다. 우산 판매를 막으면 사고가 줄어들까요? 이 결과를 바르게 해석하려면 무엇을 알아야 할까요?
데이터 과학은 어디에 쓰일까?
내가 관심 있는 분야에도 데이터 과학이 들어와 있을까?
데이터 과학이 적용된 현대 사회의 모습입니다. 카드마다 어떤 기록이 쌓이고, 그 기록으로 무엇을 결정하는지 살펴보세요.
교육
온라인 학습 기록을 보니 한 학생이 분수 나눗셈 문제에서만 유독 오래 머물고 자주 틀립니다. 그러면 그 학생에게 분수 나눗셈 연습 문제를 먼저 내 줍니다.
농업
밭에 둔 측정기가 밤 기온과 습도가 며칠째 높다고 기록하면, 그런 날씨에 잘 번지는 병해충을 미리 알립니다. 농가는 약을 뿌릴 시기를 앞당깁니다.
환경
도로마다 둔 측정기의 미세 먼지 기록을 모아 보니 출근 시간에 한 교차로만 유독 높습니다. 시는 그 구간부터 차량 대책을 세웁니다.
금융
고객이 매달 어디에 얼마를 쓰는지 기록을 보니 교통비가 유독 많습니다. 은행은 그 고객에게 교통비를 할인해 주는 카드를 안내합니다.
재난 · 안전
지진계가 먼저 도착하는 약한 진동을 감지하면, 큰 흔들림이 닿기 전에 그 지역 휴대 전화로 긴급 재난 문자를 보냅니다.
에너지 최적화
스마트 그리드가 집집마다 전기 사용량을 시간대별로 기록하면, 사용이 몰리는 저녁 시간을 미리 알고 발전량을 맞춥니다.
의료
같은 수술을 받은 환자들의 기록에서 재발한 사람들의 공통점을 찾습니다. 새 환자가 그 공통점을 가졌다면 검사를 더 자주 받게 합니다.
유통 및 마케팅
온라인 서점은 이 책을 산 사람들이 함께 많이 산 책을 모아 「이 책과 함께 산 책」으로 보여 줍니다.
교통
버스와 내비게이션이 보내는 위치 기록으로 도로마다 지금 얼마나 막히는지 계산하고, 막히는 길을 피하는 경로를 안내합니다.
위에 나온 낯선 말 두 가지
스마트 그리드 (smart grid)
기존 전력망에 정보·통신 기술을 더해, 공급자와 수요자가 실시간으로 정보를 교환하는 전력망입니다. 전기를 언제 얼마나 쓰는지가 계속 기록되므로 분석할 데이터가 쌓입니다.
지속가능발전목표(SDGs)
국제 연합(UN)에서 2030년까지 세계가 함께 실천해야 할 「미래 세대가 자신의 필요를 채울 수 있는 능력을 해치지 않으면서 현재 세대의 필요를 충족시키는」 발전을 위한 목표로, 17개 목표와 169개의 세부 목표를 제시했습니다. 기후 변화에 대응하는 목표라면 기상 기록을 분석하는 사람과 기후를 연구하는 사람이 함께 일해야 합니다. 데이터 과학은 이렇게 그 분야의 도메인 지식과 짝을 이루어 쓰입니다.
카드에 없는 분야 하나를 고르세요. 예를 들어 도서관이나 동물 병원도 됩니다. 그곳에 매일 쌓이는 기록 하나와, 그 기록으로 내릴 수 있는 결정 하나를 짝지어 말해 보세요.
데이터 과학은 어떤 순서로 문제를 해결할까?
데이터를 구했다면 곧바로 결론을 내려도 될까?
우리 주변에서 일어나는 작은 문제부터 전 지구적인 큰 문제까지 데이터 과학은 다음 여섯 단계를 거쳐 해결합니다.
문제 정의하기
무엇을 알아내고 싶은지 분명히 정한다.
데이터 수집 및 특성 파악하기
문제 해결에 필요한 데이터를 모으고 살펴본다.
데이터 전처리하기
분석할 수 있는 형태로 데이터를 정리한다.
탐색적 데이터 분석하기
데이터의 패턴과 관계를 찾아본다.
데이터 모델링하기
모델을 만들어 예측하거나 비슷한 것끼리 묶는다.
결과 해석 및 공유하기
알아낸 것을 해석하고 다른 사람과 나눈다.
3·4·5단계의 말이 어렵다면
앞의 여섯 단계에서 3·4·5단계에는 처음 듣는 용어가 많으므로 뜻부터 설명합니다.
전처리(前處理, preprocessing) — 앞 전, 처리할 처 · pre-(먼저) + processing(처리)
분석하기 전에 데이터를 정리하는 일입니다. 한자의 앞 전(前)과 영어의 pre-가 모두 「먼저」를 뜻합니다. 비어 있는 값, 다른 값과 동떨어진 값, 단위가 서로 다른 값을 정리합니다. 요리로 치면 재료를 씻고 손질하는 단계입니다.
탐색적 데이터 분석 — 탐색 = 두루 살펴 찾음
결론을 내기 전에 데이터를 여러 방향으로 살펴보는 단계입니다. 그래프를 그려 보고 평균을 내 보면서 「데이터가 대충 이렇게 생겼구나」를 파악합니다. 매점 예시에서 기온과 판매량을 나란히 놓고 본 것이 이 단계에 해당합니다.
데이터 모델링 — 모델 = 모방한 것
찾아낸 규칙을 수식이나 프로그램의 형태로 모방해 만드는 일입니다. 예측하는 모델이라면 한 번 만들어 두고 처음 보는 값을 넣어 답을 얻을 수 있습니다. 「기온을 넣으면 판매량이 나오는 장치」를 만든다고 생각하면 됩니다.
사례로 따라가기: 우리 지역의 폭염
| 단계 | 「우리 지역 여름은 정말 더워졌을까?」에서는 |
|---|---|
| 1. 문제 정의하기 | 「우리 지역에서 폭염이 이어지는 날이 30년 전보다 늘었는가, 앞으로도 늘어날까?」로 물음을 좁힌다. |
| 2. 데이터 수집 및 특성 파악하기 | 가까운 관측소의 30년 치 날마다의 최고 기온 기록을 모으고, 그사이 관측소가 옮겨진 해가 있는지 확인한다. |
| 3. 데이터 전처리하기 | 기록이 빠진 날을 표시하고, 다른 곳에서 가져온 자료가 화씨(℉)로 되어 있다면 섭씨(℃)로 바꿔 단위를 통일한다. |
| 4. 탐색적 데이터 분석하기 | 해마다 최고 기온이 33℃ 이상인 날을 세어 그래프로 그리고, 해가 갈수록 늘어나는 흐름이 있는지 살펴본다. |
| 5. 데이터 모델링하기 | 연도와 폭염 일수의 관계를 식으로 나타내 10년 뒤를 예측한다. 기록이 없는 먼 미래일수록 틀릴 수 있다는 점도 함께 적는다. |
| 6. 결과 해석 및 공유하기 | 그래프와 예측을 게시판에 올리고, 폭염인 날 체육 수업을 실내로 옮기는 기준을 학교에 제안한다. |
3단계에서 단위를 통일하지 않으면 「어느 해의 기온이 99℃」와 같은 이상한 결과가 나오므로 전처리가 필요합니다.
매점 판매 기록에 어떤 날은 「12」, 어떤 날은 「12개」, 어떤 날은 빈칸으로 적혀 있습니다. 이대로 하루 평균 판매량을 내면 어떤 일이 생길까요? 평균을 내기 전에 무엇부터 해야 할까요?
데이터 기반 의사 결정이란?
「경험상 이럴 것 같다」와 무엇이 다를까?
데이터 기반 의사 결정
직관에만 기대지 않고, 데이터를 수집 · 분석 · 검증하는 과정을 거쳐 결정을 내리는 것입니다.
사례 1: △△마트의 매출 올리기
점장
「△△마트 매출을 올리려면 어떻게 할까요?」
직관에 의한 결정
「글쎄요, 우선 할인 행사를 정해 볼까요? 아니면……」
데이터 기반 의사 결정
「지난 석 달 동안 시간대별 방문객 수와 품목별로 남은 양을 적은 기록부터 봅시다.」
- 주말 오전에 고객이 몰리니 주말 개점 시간을 앞당깁시다.
- 평일 저녁 8시 이후에 간편식이 남으니 그 시간부터 간편식을 할인합시다.
사례 2: 평소와 다른 카드 결제
카드사는 고객마다 평소에 언제, 어디서, 얼마를 결제하는지 기록해 둡니다. 새 결제가 들어오면 그 결제가 평소 모습에서 얼마나 벗어났는지를 계산합니다.
이 고객의 평소 기록
낮 시간에 서울에서 교통비와 편의점 결제를 한 번에 몇천 원씩 합니다.
새로 들어온 결제
새벽 3시, 해외 쇼핑몰에서 200만 원. 평소와 크게 다르므로 카드를 일시 정지하고 본인에게 결제했는지 묻는 문자를 보냅니다.
고객이 정말 해외여행 중이었다면 이 결정은 틀린 것이 됩니다. 그래서 카드사는 곧바로 결제를 취소하지 않고 본인에게 먼저 확인합니다. 데이터로 내린 결정도 틀릴 수 있으므로 되돌릴 길을 함께 둡니다. 금액과 시간은 수업에서 원리를 확인하려고 지어낸 값입니다.
데이터 기반 의사 결정의 좋은 점
데이터 기반의 의사 결정은 객관적인 수치와 사실을 근거로 삼으므로 개인의 주관 때문에 생기는 오류를 줄일 수 있습니다. 그래서 시행착오가 줄고, 왜 그렇게 정했는지 근거를 보일 수 있어 결정에 대한 책임감과 신뢰성이 높아집니다.
오류 최소화
시행착오 감소
책임감 · 신뢰성 향상
학교 매점에 새 음료를 하나 들여놓으려 합니다. 「요즘 이게 유행이래」로 정하는 방법과 데이터로 정하는 방법을 각각 한 문장으로 적어 보세요. 데이터로 정하려면 무엇을 모아야 할까요?
이것도 데이터 과학 사례일까?
무엇을 보고 데이터 과학인지 아닌지를 구별할 수 있을까?
같은 급식 메뉴를 정하는 일도 방법에 따라 답이 달라집니다.
| 사례 | 데이터 과학 여부 | 이유 |
|---|---|---|
| 잔반량 기록으로 정한 급식 메뉴 | 맞다 | 메뉴마다 남은 음식의 무게를 두 달 동안 기록해 비교하고, 많이 남는 메뉴를 바꾼다. |
| 감으로 정한 급식 메뉴 | 아니다 | 「학생들이 이걸 좋아할 것 같다」는 경험과 감으로 정한다. 모으고 분석한 데이터가 없다. |
판단 기준은 결정을 내릴 때 실제로 데이터를 수집하고 분석했는지입니다. 감으로 정한 메뉴가 인기를 끌 수도 있습니다. 결과가 좋았더라도 경험과 감에만 의존했다면 데이터 과학이라고 할 수 없습니다.
데이터 과학으로 풀 수 있는 다른 문제들
- 은행은 돈을 빌린 사람들이 제때 갚았는지의 기록을 모아, 새로 대출을 신청한 사람이 제때 갚을 가능성을 가늠한다.
- 게임 회사는 게시판 글에 「어렵다」「지루하다」 같은 말이 어느 단계에서 몰리는지 세어, 그 단계부터 고친다.
- 도시는 교차로마다 시간대별 통행량과 사고 기록을 모아, 사고가 잦은 시간대의 신호 주기를 바꾼다.
우리 학교 체육 대회에 데이터 과학을 활용한다면 어떤 주제가 좋을까요? 「어떤 데이터를 모아 무엇을 결정할지」의 형태로 한 문장을 만들어 보세요.
핵심 정리
데이터 과학
data science
- 기록(데이터) → 의미(정보) → 다음 행동(지식)으로 이어 간다
- 함께 움직인다고 원인이라 단정할 수는 없다. 해석에는 도메인 지식이 필요하다
- 여러 분야의 전문 지식이 융합되어 활용
문제 해결 절차
data science process
- 문제 정의 → 데이터 수집 및 특성 파악 → 전처리
- 탐색적 데이터 분석 → 모델링 → 결과 해석 및 공유
- 전처리를 건너뛰면 단위 불일치 같은 오류가 남는다
데이터 기반 의사 결정
data-driven decision making
- 결정할 때 실제로 데이터를 모으고 분석했는지가 기준이다
- 객관적 수치와 사실 → 주관적 오류 최소화
- 오류를 줄일 뿐 없애지는 못한다. 되돌릴 길을 함께 둔다
확인 퀴즈
배운 내용을 확인해 봅시다.
데이터 과학에 대한 설명으로 가장 알맞은 것은?
데이터 과학의 문제 해결 절차에서 가장 먼저 해야 할 단계는?
다음 중 데이터 기반 의사 결정의 사례로 가장 알맞은 것은?
데이터 기반 의사 결정의 효과로 알맞지 않은 것은?