정형 데이터란 무엇일까?
정형 데이터는 미리 정해 둔 틀에 맞추어 저장된 데이터입니다.
정형 데이터(Structured Data)의 정의
어떤 항목을 어떤 형식으로 적을지 미리 정해 두고, 모든 자료를 그 틀에 맞추어 저장한
데이터를 말합니다.
그래서 행과 열을 가진 표 형태로 저장할 수 있고, 모든 행이 같은 항목을
같은 순서로 가집니다.
학생 명부의 학번·이름·성별·생년월일, 가계부의 날짜·품목·금액처럼
칸마다 무엇이 들어갈지가 이미 정해져 있는 데이터가 대표적입니다.
표의 열 하나하나를 속성(attribute)이라고 부릅니다. 위 명부에서는 학번, 이름, 성별, 생년월일이 각각 속성입니다. 지금은 표의 열 하나가 속성이라는 것까지만 잡아 둡니다.
정형 데이터의 구조
| 열(속성) | 속성 1 | 속성 2 | 속성 3 | … |
|---|---|---|---|---|
| 행 (속성값) | 값 | 값 | 값 | … |
| 값 | 값 | 값 | … | |
| 값 | 값 | 값 | … | |
| … | … | … | … |
정형 데이터는 미리 정해 놓은 형식과 구조에 따라 저장되어 사용자가 쉽게 이해하고 관리할 수 있습니다.
학생 신상 정보 데이터로 살펴보기
각 행은 한 사람에 관한 정보를 담고 있고, 모든 사람은 같은 속성(학번, 이름, 성별, 생년월일)을 가집니다. 표의 값은 수업에서 원리를 확인하려고 지어낸 값입니다.
| 학번 | 이름 | 성별 | 생년월일 |
|---|---|---|---|
| 20304 | 학생 A | 남 | 2005/05/06 |
| 20513 | 학생 B | 여 | 2005/07/29 |
| 30329 | 학생 C | 여 | 2004/12/06 |
| … | … | … | … |
정형 데이터의 장점 — 검색·수정·삽입
① 검색
이름, 학번 등 특정 조건으로 원하는 데이터를 빠르게 찾을 수 있습니다.
② 수정
특정 행이나 열의 값을 정확히 찾아 수정할 수 있습니다.
③ 삽입
새로운 행(데이터)이나 열(속성)을 기존 구조에 맞게 추가할 수 있습니다.
정형 데이터의 대표 예시
스프레드시트
Excel, Google Sheets 등 행과 열로 구성된 표 형식의 데이터
CSV 파일
콤마(,)로 구분된 값으로 구조가 결정되는 텍스트 파일 형식
관계형 데이터베이스
MySQL, PostgreSQL 등 테이블 형태로 정제 및 구조화된 데이터
우리 반 시간표는 정형 데이터일까요? 요일과 교시가 행과 열을 이루는지, 칸마다 들어갈 것이 정해져 있는지로 판단해 보세요.
비정형 데이터란 무엇일까?
비정형 데이터는 내용 자체가 통째로 하나의 값이 되는 데이터입니다.
비정형 데이터(Unstructured Data)의 정의
미리 정해 둔 항목의 틀 없이, 내용 그 자체가 통째로 하나의 값이 되는 데이터를 말합니다.
사진 한 장, 녹음 파일 하나, 편지글 한 편은 그 안을 「열」로 나눌 수 없습니다.
사진을 「색1, 색2, 색3」 같은 칸으로 쪼개 적어 두지는 않으니까요.
이메일 본문, 문자 메시지, 문서(보고서), 소셜 미디어 글, 사진, 음성, 영상 등이 여기에 해당합니다.
「아무 규칙이 없다」는 뜻은 아닙니다. 사진에는 사진대로, 음성에는 음성대로 나름의 규칙이 있습니다. 다만 그 규칙이 표의 열처럼 미리 정해져 있지 않아서 컴퓨터가 곧바로 읽어 쓰기 어려울 뿐입니다.
비정형 데이터의 종류
소셜 미디어
SNS 게시글, 댓글, 해시태그 등 텍스트 데이터
문서
보고서, 계약서, 발표 자료처럼 긴 글로 된 파일
메시지
이메일 본문, 문자 메시지, 채팅 내용
영상
유튜브 동영상, 영상 통화, 스트리밍 데이터
음악 / 음성
음원 파일, 음성 녹음, AI 스피커 음성 데이터
이미지
사진 파일, 그림, 의료 영상(X-ray) 등
비정형 데이터는 왜 늘어날까?
정보 통신 기술의 발전으로 전 세계에서 매일 상상할 수 없을 만큼 많은 양의 데이터가 만들어지고 있습니다. 현대 사회에서 사람들 간의 의사소통이 많은 부분 스마트폰, 소셜 미디어, 채팅, 영상 통화 등으로 이루어지기 때문입니다.
대화
→ 음성 데이터
채팅
→ 텍스트 데이터
영상 통화
→ 영상 데이터
비정형 데이터의 가치
사진 속 물체를 알아보는 기능, 녹음한 말을 글로 옮기는 기능은 모두 비정형 데이터를 처리하는 기술 위에 서 있습니다. 비정형 데이터는 쌓이는 양이 많으므로, 이것을 처리하는 기술이 좋아질수록 기계학습에 쓸 수 있는 데이터도 함께 늘어납니다.
음성 메모 파일 하나를 표에 넣으려고 합니다. 녹음 날짜와 길이는 열로 적을 수 있지만, 녹음된 말소리 자체는 어느 열에 넣을 수 있을까요? 이 파일은 정형과 비정형 중 어느 쪽인가요?
정형 데이터와 비정형 데이터
정형과 비정형 데이터는 기계학습에서 어떻게 다르게 다뤄질까?
데이터 유형에 따라 기계학습을 위한 처리 방법이 달라집니다.
정형 데이터
20%- 행과 열로 표현 가능하고 값의 의미를 파악하기 쉬움
- 숫자, 날짜, 문자 등의 데이터 형식
- 전체 데이터의 약 20% 차지
- 상대적으로 작은 저장 공간 필요
- 관리가 비교적 쉬움
비정형 데이터
80%- 행과 열로 표현되지 않고 형태가 정해진 틀에 맞지 않음
- 문서(보고서), 이미지, 음성, 비디오, 이메일 본문 등
- 전체 데이터의 약 80% 차지
- 상대적으로 큰 저장 공간 필요
- 관리가 비교적 어려움
20%와 80%는 정확히 센 값이 아니라 널리 쓰이는 어림값입니다. 세상의 모든 데이터를 하나하나 세어 볼 수는 없기 때문입니다. 이 숫자를 외우기보다 「표로 정리된 데이터보다 사진·영상·글처럼 표에 담기 어려운 데이터가 훨씬 많다」는 사실을 기억하세요. 스마트폰으로 찍는 사진 한 장과 명부의 한 줄을 떠올려 보면 왜 그런지 짐작할 수 있습니다.
특징 비교표
| 비교 항목 | 정형 데이터 | 비정형 데이터 |
|---|---|---|
| 구조 | 행과 열로 표현 가능 | 형태가 정해진 틀에 맞지 않음 |
| 데이터 형식 | 숫자, 날짜, 문자 | 문서, 이미지, 음성, 영상 |
| 전체 비중 | 약 20% | 약 80% |
| 저장 공간 | 상대적으로 작음 | 상대적으로 큼 |
| 관리 난이도 | 쉬움 | 어려움 |
| 기계학습 활용 | 비교적 쉽게 사용 가능 | 별도 처리·변환 필요 |
기계학습 모델 구현 과정에서의 위치
수집한 데이터가 정형 데이터인지 비정형 데이터인지에 따라 다음 단계인 STEP3 데이터 전처리에서 적용할 처리 방법이 달라집니다. 정형 데이터는 비교적 쉽게 전처리하여 기계학습에 사용할 수 있지만, 비정형 데이터는 숫자 배열로 변환하는 등 별도의 처리 과정이 필요합니다.
Garbage In, Garbage Out
「쓰레기를 넣으면 쓰레기가 나온다」는 뜻의 말입니다. 기계학습은 데이터에서 규칙을 찾으므로 데이터의 품질이 모델의 품질을 크게 좌우합니다. 음식마다 재료를 손질하는 방법이 다르듯, 데이터가 정형인지 비정형인지에 따라 기계학습을 위한 처리 방법도 달라집니다.
택배 송장을 찍은 사진 한 장과, 그 송장에서 받는 사람·주소·무게를 옮겨 적은 표가 있습니다. 담긴 내용은 같은데 어느 쪽이 정형이고, 기계학습에 쓰려면 어느 쪽에 손이 더 갈까요?
더 알아보기 — 반정형 데이터 참고
정형도 비정형도 아닌 데이터는 어떻게 부를까?
정형과 비정형의 중간 형태인 반정형 데이터도 있습니다.
더 알아보기: 반정형 데이터(Semi-Structured Data)
반정형 데이터(Semi-Structured Data)란?
테이블의 행과 열로 구조화되어 있지는 않으나, 구조 정보(태그, 키 이름)를 데이터와 함께 담아 둔 데이터입니다. 자료마다 항목이 조금씩 달라도 됩니다. 대표적인 예로 XML, HTML, JSON 형태의 데이터가 있습니다.
반정형 데이터의 종류
XML
태그(tag)를 사용해 데이터의 구조와 의미를 함께 표현하는 형식
HTML
웹 페이지 구조를 표현하는 마크업 언어로 태그 기반 구조를 가짐
JSON
키(key)와 값(value) 쌍으로 이루어진 데이터 형식. 자바스크립트 객체 표기법
JSON 데이터 예시
"name": "학생 A",
"age": 17,
"gender": "female",
"birthday": "8/5"
}
JSON은 키와 값의 쌍으로 구성됩니다. 구조 정보(키 이름)를 데이터와 함께 제공하므로 반정형 데이터에 해당합니다.
데이터 구조화 스펙트럼
정형 데이터
엑셀, CSV,
관계형 DB
완전히 구조화
반정형 데이터
XML, HTML,
JSON
부분적으로 구조화
비정형 데이터
사진, 영상,
음성, SNS
구조화되지 않음
이런 데이터는 어디서 구할까? 참고
필요한 데이터를 직접 만들지 않고도 구할 수 있을까?
기계학습에 쓸 데이터를 늘 직접 모아야 하는 것은 아닙니다. 정부와 공공 기관, 기업, 연구자들이 이미 정리해 공개해 둔 데이터가 많기 때문입니다. 아래 누리집들이 대표적입니다. 누리집마다 다루는 데이터의 결이 다르니, 내가 찾는 것이 정형인지 비정형인지를 먼저 생각하고 골라 들어가면 훨씬 빠릅니다.
| 누리집 | 주소 | 주로 어떤 데이터가 있나 |
|---|---|---|
| 공공데이터포털 | data.go.kr | 정부·공공 기관이 모은 표 형태의 정형 데이터. 인구, 교통, 시설 현황 등 |
| 국가통계포털 | kosis.kr | 국가데이터처(옛 통계청)가 모아 정리한 각종 통계 표. 해마다·지역마다 비교해 보기 좋음 |
| 기상자료개방포털 | data.kma.go.kr | 기상청의 관측 기록. 기온·강수량·일사량 등을 날짜별 표로 내려받을 수 있음 |
| AI 허브 | aihub.or.kr | 인공지능 학습용으로 정리된 이미지·음성·문장 등 비정형 데이터 |
| 캐글 | kaggle.com/datasets | 세계 각지에서 올린 연습용 데이터셋. 정형과 비정형이 모두 있음 |
공개되어 있다고 마음대로 써도 되는 것은 아닙니다
내려받기 전에 그 데이터의 이용 조건을 확인해야 합니다. 출처를 밝히면 되는 것, 수업에서만 쓸 수 있는 것, 상업적으로 쓰면 안 되는 것이 각각 다릅니다. 사람에 관한 데이터라면 개인을 알아볼 수 있는 값이 섞여 있지 않은지도 살펴야 합니다. 직접 모을 때와 마찬가지로 저작권법과 개인 정보 보호법을 지켜야 합니다.
「사진을 보고 꽃 이름을 알아맞히는 모델」을 만들려면 위 누리집 가운데 어디를 먼저 열어 보아야 할까요? 필요한 데이터가 정형인지 비정형인지부터 정해 보세요.
탐구 활동
내 주변에서 쓰이는 데이터는 정형과 비정형 중 어느 쪽일까?
정형·비정형 데이터의 종류와 인공지능 활용 사례를 직접 찾아 작성해 보세요.
활동 방법
정형 데이터와 비정형 데이터에는 어떤 것이 있고, 인공지능에 어떻게 활용되는지 인터넷이나 서적을 참고하여 아래 표의 빈칸을 완성해 보세요.
| 데이터 유형 | 종류 (예시) | 인공지능에 적용된 사례 |
|---|---|---|
| 정형 데이터 | ||
| 비정형 데이터 |
| 데이터 유형 | 종류 (예시) | 인공지능에 적용된 사례 |
|---|---|---|
| 정형 데이터 | 병원 의료 기록 (환자 ID, 진료 날짜, 검사 수치 등) |
병원의 진료 기록을 딥러닝으로 분석하여 입원 환자의 치료 결과를 예측하는 연구가 발표됨. |
| 비정형 데이터 | 얼굴 이미지 (사진 파일, JPG, PNG 등) |
사람의 얼굴 이미지를 인공지능으로 분석하여 가장 닮은 사람을 찾거나 얼굴의 윤곽이나 표정 값을 얻는 기술이 개발됨. |
핵심 정리
정형 데이터
항목과 형식을 미리 정해 두고 그 틀에 맞추어 저장한 데이터. 행과 열을 가진 표로 표현할 수 있고, 모든 행이 같은 항목을 가짐. 전체 데이터에서 차지하는 몫은 약 20%로 어림됨. 관리가 쉽고 기계학습에 비교적 쉽게 사용 가능.
비정형 데이터
미리 정해 둔 항목의 틀 없이 내용 자체가 통째로 하나의 값이 되는 데이터. 이미지, 음성, 영상, 글 등이 해당하며 전체의 약 80%로 어림됨. 처리 기술의 발달로 활용 가치가 높아지는 중.
기계학습과의 관계
데이터 유형에 따라 기계학습을 위한 처리 방법이 달라진다. 좋은 기계학습 결과는 품질 좋은 데이터에서 출발한다. 「Garbage In, Garbage Out」
확인 퀴즈
배운 내용을 확인해 봅시다.