「데이터의 특성」이란 무엇일까?
파일을 열면 숫자가 잔뜩 있는데, 무엇부터 봐야 할까?
데이터의 특성은 데이터의 출처, 규모, 속성별 의미와 자료형, 통계적 특성을 말합니다. 이것을 알아야 데이터를 바르게 읽고, 한쪽으로 치우치지는 않았는지 같은 품질 문제도 확인할 수 있습니다.
출처
데이터가 어디서 왔는지, 어떤 방식으로 수집되었는지를 이해해야 합니다. 신뢰할 수 있는 출처가 분석 결과의 신뢰도를 높입니다.
규모
데이터셋의 크기와 포함된 데이터 포인트의 수를 파악합니다. 속성이 몇 개이고 가로줄이 몇 개인지가 규모입니다.
속성
각 데이터의 의미와 데이터 유형(수치형, 범주형 등)을 이해해야 합니다. 데이터를 적절히 처리하고 분석하는 데 필수적입니다.
통계적 특성
평균, 중앙값, 표준 편차, 최댓값 및 최솟값 등을 조사하여 데이터의 분포와 경향성을 이해합니다.
예시 — 국민체력측정통계 데이터셋의 일부
실제 데이터셋을 열면 이런 표가 나옵니다. 왼쪽 두 칸은 측정자 정보, 나머지는 측정 결과입니다.
| 측정자 정보 | 측정 결과 | |||||||
|---|---|---|---|---|---|---|---|---|
| 연령 구간 | 성별 | 신장 | 체중 | bmi | 체지방 | 윗몸 일으키기 | 오래 달리기 | 앉아 윗몸 앞으로 굽히기 |
| 1 | 1 | 169 | 51 | 18 | 17 | 35 | 21 | −7 |
| 1 | 1 | 173 | 74 | 25 | 25 | 32 | 9998 | 6 |
| 1 | 2 | 159 | 58 | 23 | 34 | 21 | 23 | 19 |
| 2 | 1 | 180 | 89 | 28 | 17 | 59 | 42 | 2 |
국민체력측정통계 데이터셋의 일부 — 측정자 정보 2개 · 측정 결과 7개 속성
출처: 문화체육관광부 국민체력측정통계 mdis.mods.go.kr
이상하지 않나요?
「앉아 윗몸 앞으로 굽히기」에 −7이 있습니다. 길이를 측정하는 값인데 음수가 나올 수 있을까요? 「오래 달리기」에는 9998이 있습니다. 다른 값은 21~42 사이인데 혼자만 9998입니다.
이럴 때 바로 지워 버리면 안 됩니다. 그 속성이 무엇을 어떻게 측정한 것인지 먼저 확인해야 합니다. 「앉아 윗몸 앞으로 굽히기」는 발끝을 기준선(0)으로 두고 손끝이 얼마나 넘어갔는지를 측정하므로, 발끝에 못 미치면 음수가 정상적인 값입니다. 반대로 9998은 측정하지 않았음을 나타내는 약속된 값일 수 있습니다.
속성값의 의미를 알아야 그 값이 정상인지 판단할 수 있습니다. 그 의미는 메타 데이터에 적혀 있습니다.
한 장으로 정리한 데이터의 특성
데이터를 정확하게 분석하려면 다음과 같이 출처와 규모, 각 속성의 자료형과 의미를 파악해야 합니다.
| 출처 | 문화체육관광부 |
|---|---|
| 수집 시기 | 2019. 1. 1. ~ 12. 31. |
| 수집 방법 | 국민체력 100 체력인증센터에 방문하여 체력을 측정한 만 19세 이상 국민의 데이터를 전처리 후 제공 |
| 규모 |
|
| 속성 |
|
국민체력측정통계의 출처 · 수집 시기 · 수집 방법 · 규모 · 속성
출처: 문화체육관광부 국민체력측정통계 mdis.mods.go.kr
연령 구간과 성별에 1, 2 같은 숫자가 적혀 있다고 해서 모두 수치형인 것은 아닙니다. 성별의 1과 2는 크기를 뜻하는 숫자가 아니라 이름표이므로 범주형입니다. 두 값을 더하거나 평균을 내는 것은 의미가 없습니다.
친구가 이 데이터셋으로 「우리나라 고등학생의 체력」을 분석하겠다고 합니다. 분석할 수 있을까요? 할 수 없다면 수집 방법의 어느 조건 때문일까요?
속성값의 의미는 어디에 적혀 있을까?
데이터를 설명해 주는 데이터가 따로 있습니다.
메타 데이터(meta data)는 데이터를 설명해 주는 데이터입니다. 그 데이터가 어디서 왔는지, 어떻게 모았는지, 각 속성이 무슨 뜻이고 어떤 유형인지가 여기에 적혀 있습니다.
「국민체력측정통계」 데이터셋과 함께 제공되는 메타 데이터도 내려받으면 데이터 수집 방법과 수집 주기 등을 파악할 수 있습니다. 앞에서 본 −7과 9998의 정체도 여기에 적혀 있습니다.
용어 풀이
meta-는 「~에 대한, 한 단계 위의」라는 뜻입니다. 그래서 메타 데이터는 데이터에 대한 데이터입니다. 라면 봉지 뒷면의 원재료명 · 제조일자 · 조리법이 라면 자체는 아니지만 라면을 제대로 먹으려면 꼭 필요한 것과 같습니다.
메타 데이터에서 확인하는 것
국민체력측정통계의 파일 설계서에는 다음 두 가지가 들어 있습니다.
측정 항목 확인
성인 연령층(19~64세)의 측정 요인과 측정 항목 및 방법이 적혀 있습니다.
| 구분 | 요인 | 측정 항목 및 방법 |
|---|---|---|
| 체격 | 길이 | 신장: 0.1cm 단위 측정 |
| 무게 | 체중: 0.1kg 단위 측정 | |
| 신체질량지수(BMI) | 체중(kg) / 신장(m)² | |
| 신체 구성 | 체지방률(0.1% 단위), 허리둘레(0.1cm 단위) |
속성 정보 확인
각 속성의 항목명, 길이, 타입, 특이 사항 등이 적혀 있습니다. 타입의 V는 글자로 저장하는 값, N은 숫자로 저장하는 값입니다. 그래서 코드와 텍스트는 둘 다 V, 수치는 N으로 표시됩니다.
| 항목 번호 | 항목명 | 길이 | 타입 | 특이 사항 |
|---|---|---|---|---|
| 1 | 연령 구간 | 1 | V | |
| 2 | 성별 | 1 | V | |
| 3 | 신장 | 3 | N | |
| 4 | 체중 | 3 | N | |
| 6 | 체지방 | 4 | N | 9998 측정하지 않은 값 |
| 7 | 허리둘레 | 4 | N | 9998 측정하지 않은 값 |
파일 설계서에서 확인할 수 있는 두 가지 — 측정 항목과 속성 정보
출처: 문화체육관광부 국민체력측정통계 mdis.mods.go.kr
설계서의 체지방 · 허리둘레 항목에는 9998이 잘못 입력된 숫자가 아니라 「측정하지 않았음」을 나타내기로 약속한 값이라고 적혀 있습니다. 오래 달리기의 9998도 같은 약속인지 그 항목의 특이 사항에서 확인합니다. 메타 데이터를 보지 않고 9998을 그대로 평균에 넣었다면 평균이 엉뚱하게 커졌을 것입니다.
체지방 속성값 11만 개 가운데 9998이 5,000개 들어 있다고 합시다. 이 5,000개를 그냥 지우는 것과 남겨 두고 평균을 내는 것 중 어느 쪽이 더 위험할까요? 그렇게 생각한 이유도 말해 봅시다.
11만 개를 어떻게 한눈에 볼까?
전부 눈으로 읽을 수는 없습니다.
평균, 중앙값 같은 통곗값으로 많은 데이터를 요약하면 특성을 파악할 수 있습니다.
데이터를 요약하는 통곗값
데이터 집합의 경향성을 수치로 요약하면 데이터의 특성을 빠르게 파악할 수 있습니다.
| 통곗값 | 뜻과 성질 |
|---|---|
| 평균 | 속성의 숫자를 모두 더해 개수로 나눈 값이다. 히스토그램의 무게 중심이기도 하며 대푯값 중 가장 많이 사용되지만, 데이터의 개수가 적을 때 극단적으로 큰 값이나 작은 값에 크게 영향을 받는다. |
| 중앙값 | 속성의 수치 데이터를 크기 순으로 나열했을 때 중앙에 위치한 값이다. 중앙값은 평균에 비해 극단치의 영향을 덜 받는다는 장점이 있다. |
| 최빈값 | 가장 자주 나타나는 값이며, 순서가 없는 범주형 데이터는 대푯값으로 최빈값만 구할 수 있다. |
| 분산 | 평균과 각 데이터의 차이인 편차를 제곱해서 더한 값을 데이터의 개수로 나눈 값이다. |
| 표준 편차 | 분산의 제곱근이며, 분산과 함께 데이터가 평균에서 얼마나 퍼져 있는지를 나타내는 척도이다. |
| 최솟값 · 최댓값 | 데이터 중 가장 작은 값과 가장 큰 값이다. 둘 사이가 데이터가 놓인 범위가 된다. |
우리 반 성적으로 확인해 봅시다. 한 명이 0점을 받으면 평균은 뚝 떨어지지만 중앙값은 거의 그대로입니다. 두 값의 차이가 크다면 그것 자체가 「값이 한쪽으로 길게 늘어진 분포」라는 신호입니다. 『이 데이터를 믿어도 될까?』 절의 데이터 편향성과는 다른 뜻입니다.
실제로 요약해 보면
국민체력측정통계의 BMI 속성을 성별로 나누어 통곗값을 구한 결과입니다.
| 성별 | 평균 | 표준 편차 | 최솟값 | 중앙값 | 최댓값 |
|---|---|---|---|---|---|
| 남자 | 24.58 | 3.18 | 11 | 24 | 46 |
| 여자 | 22.61 | 3.31 | 12 | 22 | 42 |
성별로 나누어 구한 BMI의 통곗값
출처: 문화체육관광부 국민체력측정통계 mdis.mods.go.kr
| 성별 | 인원 |
|---|---|
| 남자 | 56,148 |
| 여자 | 56,069 |
성별 데이터 포인트 개수
출처: 문화체육관광부 국민체력측정통계 mdis.mods.go.kr
여기까지 알 수 있는 것
성별로 구분해서 구한 BMI의 통곗값으로부터 남자의 BMI가 여자보다 높은 경향이 있음을 파악할 수 있습니다.
편향까지 알 수 있는 것
남자와 여자의 인원수가 비슷하므로 성별 비율의 치우침은 없다고 볼 수 있습니다. 다만 이 데이터는 체력인증센터에 찾아온 사람들의 기록이므로, 개수가 많다는 것만으로 국민 전체의 체력 수준을 대표한다고 단정할 수는 없습니다.
스프레드시트로 직접 구해 보기
구글 스프레드시트에서 파일을 열고, 메뉴 → 를 선택합니다. 통계를 구할 열의 셀을 선택하면 그 속성의 통곗값이 나옵니다.
신장의 통계적 특성
| 전체 행 수 | 112,218 |
|---|---|
| 빈 셀 | 2 |
| 고유한 값 | 69 |
| 평균 | 166.6389253 |
| 중앙값 | 167 |
| 최솟값 | 131 |
| 최댓값 | 200 |
가장 자주 나오는 신장
| 값 | 빈도 |
|---|---|
| 170 | 4,655 |
| 162 | 4,561 |
| 172 | 4,521 |
| 160 | 4,495 |
| 164 | 4,453 |
가장 빈도가 높은 170이 이 속성의 최빈값입니다.
빈 셀 2개가 보입니다. 11만 개 중 2개라 눈으로 찾기는 거의 불가능하지만, 열 통계는 이렇게 비어 있는 값이 몇 개인지까지 알려 줍니다. 이런 값을 결측치라고 합니다.
통곗값만으로는 부족합니다
통곗값만으로 데이터의 실제 분포와 속성 간의 관계 등을 파악하기 어렵기 때문에, 데이터 시각화 등 추가적인 분석으로 데이터의 특성을 정확하게 이해해야 합니다. 평균이 같아도 고르게 퍼진 데이터와 양 끝에 몰린 데이터는 전혀 다른 데이터입니다.
신장의 평균은 166.6인데 중앙값은 167입니다. 거의 같습니다. 만약 어떤 속성에서 평균이 중앙값보다 훨씬 크게 나왔다면, 그 데이터에는 어떤 값이 섞여 있다고 짐작할 수 있을까요?
이 데이터를 믿어도 될까?
수집한 데이터는 오류뿐만 아니라 누락, 편향 등 다양한 문제가 있을 수 있습니다.
그래서 이 데이터가 실제 현상을 정확하게 담고 있는지 검토해야 합니다.
데이터 품질 점검 시 고려 사항
분석을 시작하기 전에 던져야 할 세 가지 질문입니다.
① 빠짐없이 들어 있는가?
데이터가 문제 해결에 필요한 대상과 속성을 모두 포함하는가? 필요한 속성이 빠져 있으면 아무리 분석해도 답이 나오지 않습니다.
② 오류를 걸러 냈는가?
잘못된 정보 입력, 중복 데이터, 누락된 값으로 인한 오류를 검증하고 수정했는가?
③ 한쪽으로 치우치지 않았는가?
데이터 편향성은 없는가? 예를 들어 데이터가 특정 지역이나 집단, 상황에 치우쳐 있지는 않은가?
데이터 편향성은 데이터가 현실을 있는 그대로 담지 못하고 한쪽으로 쏠려 있는 성질입니다.
편향된 데이터로 분석하면 결과를 믿을 수 없습니다. 그래서 수집할 때 이 데이터가 전체를 대표하는가를 묻고, 인종 · 성별에 대한 편견이 섞이지 않았는지 살핍니다.
앞에서 남자 56,148명, 여자 56,069명을 확인한 것이 바로 이 점검이었습니다. 두 수가 비슷했으므로 성별 비율은 치우치지 않은 데이터라고 판단할 수 있었습니다. 체력인증센터에 찾아온 사람만 담겼다는 치우침은 이 수로 확인할 수 없습니다.
치우친 데이터는 무엇을 망가뜨릴까?
데이터 수집 시 문제가 발생한 두 가지 사례입니다.
뽑힌 표본(전체 중 실제로 조사한 일부) — 빨간 점: 많이 모았지만 한쪽 집단에만 몰림 · 초록 점: 적게 모았지만 고르게 흩어짐
1936년 미국 대통령 선거 여론 조사를 두 기관에서 실시했습니다.
리터러리 다이제스트 — 약 238만 명
잡지 구독자와 전화 가입자 · 자동차 소유자 명단에서 천만 명에게 우편 설문을 보내 약 238만 명의 응답을 받았으나, 조사 대상이 부유층 쪽으로 치우쳐 당선자를 잘못 예측했습니다.
갤럽 — 약 5만 명
지역 · 성별 · 소득 같은 집단의 비율이 유권자 전체와 비슷해지도록 사람을 골라 면접 조사해 당선자를 맞혔습니다. 득표율은 실제와 몇 %p 차이가 났지만 방향은 옳았습니다.
40배가 넘는 데이터가 졌습니다. 1936년 당시 전화와 자동차는 부유층의 물건이었기 때문에, 명단 자체가 이미 한쪽으로 치우쳐 있었습니다. 설문지를 받은 사람 가운데 응답을 보낸 사람만 결과에 들어갔다는 점도 치우침을 키웠다고 봅니다. 데이터는 많이 모으는 것만큼 고르게 모으는 것이 중요합니다.
돌아온 전투기의 총탄 자국은 날개와 꼬리에 몰려 있었습니다.
널리 전해지는 이야기에 따르면, 제2차 세계 대전 당시 미군은 전투기가 격추되는 것을 줄이기 위해 귀환한 전투기의 외상을 분석해서 취약 부분을 보강하는 계획을 세웠습니다. 분석해 보니 외상 대부분이 날개와 꼬리 부분에 몰려 있었습니다.
통계학자 아브라함 왈드의 지적
돌아오지 못한 전투기에 대한 데이터가 누락된 잘못된 연구임을 지적했습니다.
날개에 총을 맞은 비행기는 돌아왔습니다. 그러니 보강해야 할 곳은 총탄 자국이 있는 날개가 아니라, 자국이 하나도 없는 자리입니다. 거기 맞은 비행기는 돌아오지 못했으므로 데이터에 없습니다. — 데이터에 없는 것을 생각하지 않으면 정반대의 결론에 이릅니다.
데이터 편향이 결론을 뒤집은 두 가지 역사적 사례
더 알아보기 — 데이터 수집 시 주의 사항
데이터를 손에 넣은 뒤 스스로에게 던져야 할 다섯 가지 질문입니다.
Q.데이터 출처가 명확한가?
A. 정부 기관, 대학, 비영리 조직 등 신뢰할 수 있는 기관 또는 업체인지 확인합니다.
Q.법적 및 윤리적 문제는 없는가?
A. 데이터 이용 허락 범위, 개인 정보 보호 등의 기준을 준수하고 있는지 주의 깊게 확인합니다.
Q.데이터 품질에 문제가 없는가?
A. 결측치, 이상치, 중복값 등의 문제를 확인하고, 필요하다면 전처리 과정을 거쳐야 합니다.
Q.데이터에 편향성은 없는가?
A. 실제 현상을 대표할 만큼 데이터의 양이 충분하고 편향되지 않았는지 확인합니다.
Q.메타 데이터에 이상이 없는가?
A. 데이터 수집 주체, 내용과 속성의 의미, 수집 방법 등을 포함하는 메타 데이터를 꼼꼼히 확인합니다.
우리 학교 급식 만족도를 학교 누리집 배너를 클릭한 학생에게만 물었습니다. 이 데이터에는 사례 1과 사례 2 중 어느 쪽 문제가 더 가깝게 나타날까요?
데이터를 읽는 힘은 무엇으로 이루어질까?
데이터 문해력(data literacy)
데이터 문해력은 데이터를 이해하고 해석한 것을 바탕으로 올바른 결정을 내릴 수 있는 능력입니다. 「이 기사의 그래프는 믿을 만한가?」를 스스로 검토하고 근거를 대며 결정하는 힘이라고 생각하면 됩니다.
데이터 이해
데이터가 어디서 왔고 어떻게 수집되었는지, 어떤 유형이고 어떤 한계가 있는지를 파악하는 능력
데이터 해석
수치나 그래프에서 분포와 추세를 알아보고, 데이터가 무엇을 말하는지 해석하는 능력
데이터 기반의 소통
데이터에서 알아낸 것을 다른 사람이 알아듣게 전달하는 능력
비판적 사고
데이터의 한계나 편향을 찾아내고, 그 때문에 생길 수 있는 해석의 오류를 알아차리는 능력
데이터 기반의 의사 결정이 중요해지면서 데이터 문해력의 중요성은 더욱 강조되고 있습니다. 이번 소절에서 한 일을 되돌아보면, 메타 데이터를 읽은 것이 데이터 이해, 통곗값을 읽은 것이 데이터 해석, 편향 사례를 검토한 것이 비판적 사고였습니다.
직접 해 볼까?
선택 활동 — 행복 점수와 함께 움직이는 요인 확인하기
문제 상황
국제 연합(UN)은 매년 세계 각국의 행복 점수를 산출해 「World Happiness Report」라는 보고서를 발표합니다. 전문가들은 행복 점수가 낮게 나오는 요인이 무엇인지 분석하고 대책을 제안하고 있습니다.
행복 점수는 개인의 삶에 대한 설문의 결과를 기반으로 하며, 6가지 속성(1인당 GDP, 사회적 지지, 건강 기대 수명, 선택의 자유, 관대함, 부패 인식)이 행복 점수를 설명하는 데 기여하는 정도를 함께 제공합니다.
세계 행복 보고서 사이트: worldhappiness.report
목표 — 세계 행복 보고서에 따르면 우리나라는 1인당 GDP, 건강 기대 수명 등은 높지만 행복 점수는 상대적으로 낮았습니다. 행복 점수가 높은 나라와 낮은 나라는 어떤 속성에서 다른지 찾아봅시다.
- 캐글(kaggle) 사이트에 방문하여 검색어를 「World Happiness Report 2023」으로 검색합니다. 검색 후 항목 중 을 선택해서 관련성이 높은 데이터셋을 찾습니다.
- 의 에서 속성명과 속성 개수, 속성값의 분포, 데이터 포인트 개수 등을 확인한 후 파일을 내려받습니다.
캐글의 데이터셋은 누구나 올릴 수 있습니다. 데이터에 대한 설명과 메타 데이터를 확인해야 하며, 특히 원천 데이터(Provenance)의 신뢰성을 확인하고 사용해야 합니다. 앞에서 배운 「데이터 출처가 명확한가?」가 바로 여기에 쓰입니다.
137개 국가의 행복 점수와 행복 점수와 함께 제공되는 6개의 속성, 그리고 그 6개의 속성이 행복 점수 중 어느 정도를 설명할 수 있는지를 나타내는 속성으로 구성되어 있습니다. 구글 스프레드시트에서 세계 행복 보고서 데이터셋을 불러오고, 다음 질문에 대답해 봅시다.
| 속성명 | 의미 |
|---|---|
| Ladder score (행복 점수) |
0부터 10까지의 단계가 있는 사다리에서 자신의 단계가 어디인지에 대한 국민의 응답 평균이며, 행복 점수가 높다는 것은 삶의 만족도가 높다는 것을 나타낸다. |
| Logged GDP per capita (1인당 GDP) |
1인당 GDP의 자연로그값으로, GDP의 경우 국가별로 큰 차이가 있어 분석과 모델링을 단순화하기 위해 변환한 값을 제공한다. |
| Social support (사회적 지지) |
「당신이 어려움에 처했다면 의지할 수 있는 친척이나 친구가 있습니까?」에 대한 응답(0 또는 1)의 국가별 평균이다. |
| Healthy life expectancy (건강 기대 수명) |
건강한 상태로 생활할 수 있는 나이를 추정한 값이며, 세계보건기구(WHO)의 데이터를 기반으로 한다. |
| Freedom to make life choices (선택의 자유) |
「당신이 인생에서 무엇을 할 것인지 선택할 수 있는 자유에 만족하십니까, 불만족하십니까?」에 대한 응답(0 또는 1)의 국가별 평균이다. |
| Generosity (관대함) |
「지난 한 달 동안 기부한 적이 있습니까?」에 대한 응답과 1인당 GDP를 이용해서 계산한 기부에 대한 경향성을 나타내는 값이다. |
| Perceptions of corruption (부패 인식) |
「부패가 정부 전체에 널리 퍼져 있습니까?」에 대한 응답(0 또는 1)의 국가별 평균이다. |
| Explained by ~ (~에 의해 설명됨) |
~ 속성에 의해 각 국가의 행복 점수가 어느 정도 설명되는지를 나타낸다. |
1 우리나라의 행복 점수는 몇 위인지 알아보고, 행복 점수가 가장 높은 국가를 찾아봅시다.
| 국가 | 한국 | |
|---|---|---|
| 순위 | 위 | 1위 |
2 행복 점수가 가장 높은 나라와 우리나라를 비교해 보고, 6가지 주요 속성 중 차이가 큰 속성을 찾아봅시다.
3 메뉴의 → 를 선택하여 행복 점수와 6가지 속성의 평균, 중앙값, 최솟값과 최댓값을 확인해 보고, 우리나라의 각 속성값과 비교해 봅시다.
| 행복 점수 | 1인당 GDP | 사회적 지지 | 건강 기대 수명 | 선택의 자유 | 관대함 | 부패 인식 | |
|---|---|---|---|---|---|---|---|
| 평균 | |||||||
| 중앙값 | |||||||
| 최솟값 | |||||||
| 최댓값 |
세계 행복 보고서 데이터셋을 사이트에서 직접 내려받으려면
- 세계 행복 보고서 사이트(worldhappiness.report)의 페이지에서 보고서에 사용된 데이터셋을 직접 내려받을 수 있습니다.
- 을 선택하면 최근 연도의 국가별 행복 데이터셋을 내려받게 됩니다.
- 을 선택하면 연도별 데이터를 내려받을 수 있습니다.
- 는 각 속성에 대한 설명을 볼 수 있습니다. 이것이 이 데이터셋의 메타 데이터입니다.
- 해마다 속성명이나 제공 항목에 일부 차이가 있다는 점을 주의해야 합니다.
이 데이터셋의 속성 이름만 보고, 각 속성이 수치형인지 범주형인지 말할 수 있나요? 말할 수 없다면 무엇을 더 봐야 하는지 이야기해 봅시다.
핵심 정리
데이터의 특성
네 가지 관점
- 출처 · 규모 · 속성별 의미와 자료형 · 통계적 특성
- 특성을 파악해야 데이터 품질에 이상이 없는지 확인할 수 있다
- 숫자로 적혀 있어도 이름표면 범주형이다
메타 데이터
meta data
- 데이터에 대해 설명해 주는 데이터
- 출처 · 수집 방법 · 각 속성의 의미와 유형을 포함
- 이상한 값(−7, 9998)의 정체를 알려 주는 곳
통계적 특성
많은 데이터를 요약하기
- 평균은 극단치에 흔들리고, 중앙값은 덜 흔들린다
- 표준 편차는 평균에서 얼마나 퍼져 있는지의 척도
- 통곗값만으로는 분포와 관계를 알기 어렵다 → 시각화
데이터 품질 점검
편향은 신뢰성을 떨어뜨린다
- 필요한 대상과 속성을 다 포함하는가
- 오입력 · 중복 · 누락을 검증하고 수정했는가
- 238만 명이 5만 명에게 졌다 — 많아도 치우치면 틀린다
확인 퀴즈
배운 내용을 확인해 봅시다.
데이터의 특성에 해당하지 않는 것은?
데이터셋을 열었더니 「앉아 윗몸 앞으로 굽히기」 속성에 −7이 들어 있습니다. 가장 먼저 해야 할 일은?
극단적으로 크거나 작은 값의 영향을 가장 덜 받는 통곗값은?
1936년 미국 대통령 선거에서 약 238만 명의 응답을 모은 기관이 약 5만 명을 조사한 기관보다 당선자를 잘못 예측한 이유는?
데이터 편향성에 대한 설명으로 옳은 것은?