남겨진 흔적
오늘 하루 여러분이 일부러 만든 데이터는 몇 개일까요. 사진 몇 장, 메시지 몇 통, 과제 파일 하나쯤 될 것입니다. 그런데 일부러 만들지 않았는데 남은 데이터는 그보다 훨씬 많습니다.
버스에 오르며 카드를 대면 언제 어느 정류장에서 탔는지가 남습니다. 무언가를 검색하면 무엇을 언제 찾아보았는지가 남습니다. 교실이나 거리에 달린 사물 인터넷 장치들은 아무도 보지 않는 새벽에도 계속 값을 측정해서 보냅니다. 이 흔적들은 누가 모으려고 애쓰지 않아도 저절로 쌓입니다.
빅데이터(big data)
지금까지 쓰던 방법으로는 다루기 어려울 만큼 크고, 빠르게 쌓이고, 생김새가 제각각인 데이터 더미를 가리킵니다. 그리고 그것을 목적에 맞게 정리하고 분석해 쓸 만한 것으로 만드는 일까지 함께 가리키기도 합니다.
「몇 GB부터 빅데이터」 같은 기준선은 없습니다
이름에 「빅」이 들어가니 크기만으로 정해진다고 생각하기 쉽지만 그렇지 않습니다. 정의에 「지금까지 쓰던 방법으로는」이라는 말이 붙어 있는 것에 주목하세요. 다루는 쪽의 사정에 따라 달라진다는 뜻입니다.
같은 양이라도 큰 회사의 장비로는 가볍게 다뤄지고, 개인 컴퓨터로는 열리지도 않습니다. 또 기술이 좋아지면서 예전에 감당하지 못하던 양을 지금은 다룰 수 있게 되었습니다. 기준선이 시대와 상황에 따라 움직입니다.
그러면 무엇을 보고 판단해야 할까요. 크기 하나가 아니라 세 가지를 함께 봅니다. 그 셋은 「세 가지 특성」 절에 있습니다.
오늘 학교에 오는 동안 여러분이 일부러 만들지 않았는데 남았을 데이터를 세 가지만 떠올려 보세요. 그 데이터는 누구에게 쌓였을까요?
세 가지 특성
빅데이터가 예전의 데이터와 어떻게 다른지는 세 가지로 정리합니다. 영어 낱말의 첫 글자가 모두 V라서 3V라고 부르기도 합니다.
크기(volume)
한 번에 다루는 양이 아주 큽니다. 문서나 사진 한 장은 KB·MB 단위로 세지만, 빅데이터를 이야기할 때는 훨씬 큰 단위가 필요합니다.
속도(velocity)
쌓이는 속도가 빠릅니다. 한 해에 한 번 모으던 것이 아니라 지금 이 순간에도 계속 들어옵니다. 그래서 다루는 속도도 그만큼 빨라야 합니다.
다양성(variety)
생김새가 제각각입니다. 숫자만 있는 것이 아니라 글, 사진, 소리, 영상이 뒤섞여 들어옵니다. 셋 가운데 가장 다루기 까다로운 것이 다양성입니다.
| 단위 | 표기 | 어느 정도인가 |
|---|---|---|
| 기가바이트 | GB | 스마트폰의 저장 공간을 셀 때 쓰는 단위 |
| 테라바이트 | TB | 기가바이트의 1,024배 |
| 페타바이트 | PB | 테라바이트의 1,024배 |
| 엑사바이트 | EB | 페타바이트의 1,024배 |
| 제타바이트 | ZB | 엑사바이트의 1,024배 |
단위 이름을 외울 필요는 없습니다. 기억할 것은 한 칸 올라갈 때마다 약 1,000배가 된다는 것뿐입니다. 몇 칸만 올라가도 사람이 감을 잡을 수 없는 양이 됩니다.
셋이 함께 와야 빅데이터입니다
셋 가운데 하나만 있는 경우를 생각해 보면 이 말이 이해됩니다. 영화 파일 하나는 크지만 한 번 만들어지고 끝이며 생김새도 한 가지입니다. 이것을 빅데이터라고 부르지는 않습니다. 반대로 학교 도서관의 대출 기록은 매일 쌓이지만 양이 적고 책 제목·날짜·학년처럼 칸이 정해져 있어 표 하나로 충분히 다룰 수 있으니 역시 아닙니다.
빅데이터는 세 가지가 겹쳐서 「기존 방법으로는 감당이 안 되는」 상태를 가리킵니다. 그래서 이 셋 가운데 무엇 하나만 가지고 「이건 빅데이터다」라고 말할 수는 없습니다.
셋 말고 더 이야기하기도 합니다
요즘은 여기에 정확성(모은 값을 믿을 수 있는가)과 가치(그것으로 쓸 만한 것을 얻을 수 있는가)를 더해 다섯 가지로 말하기도 합니다. 크기 · 속도 · 다양성이 데이터가 어떻게 생겼는지에 대한 이야기라면, 정확성과 가치는 그 데이터가 쓸모 있는지에 대한 이야기입니다. 아무리 크고 빠르고 다양해도 값이 엉터리라면 소용이 없다는 뜻입니다.
우리 학교 시시 티브이가 모든 복도를 하루 종일 찍고 있다면, 3V 가운데 어느 것이 두드러질까요? 셋 다 해당하는지 하나씩 검토해 보세요.
데이터의 생김새
세 특성 가운데 다양성이 가장 까다롭다고 했습니다. 왜 그런지 보려면 데이터가 어떤 생김새로 오는지를 알아야 합니다. 기준은 「표에 담을 수 있는가」입니다.
정형 데이터 — 표에 그대로 들어간다
줄과 칸이 정해져 있어 표에 그대로 담기는 데이터입니다. 학생마다 학번·학년·점수가 칸칸이 채워진 성적표를 떠올리면 됩니다. 어느 칸에 무엇이 들어가는지 미리 정해져 있어 골라 내고 세고 비교하기가 쉽습니다.
반정형 데이터 — 표는 아니지만 이름표가 붙어 있다
표처럼 반듯하지는 않지만, 값마다 「이건 무엇이다」라는 이름표가 함께 적혀 있는 데이터입니다. 누리집을 만드는 문서처럼 「여기는 제목, 여기는 본문」이라고 표시가 되어 있는 것들입니다. 이름표를 따라가면 필요한 값을 찾아낼 수 있습니다.
비정형 데이터 — 아무 틀이 없다
사진, 소리, 영상, 그냥 써 내려간 글처럼 틀이 아예 없는 데이터입니다. 사진 파일 안에는 「이건 강아지」라고 적혀 있지 않습니다. 사람은 보면 아는데 컴퓨터는 모릅니다.
| 구분 | 보기 | 「가장 많이 나온 것을 찾아라」를 시키면 |
|---|---|---|
| 정형 | 성적표, 출석부, 버스 승하차 기록 | 해당 칸을 세면 끝난다 |
| 반정형 | 누리집 문서, 기기가 주고받는 기록 | 이름표를 따라가 값을 추출한 뒤 세면 된다 |
| 비정형 | 사진, 녹음, 영상, 자유롭게 쓴 글 | 무엇이 담겼는지부터 알아내야 한다. 이 일 자체가 큰 과제다 |
비정형이 대부분입니다
오늘날 쌓이는 데이터에서 가장 큰 몫을 차지하는 것이 비정형이라고 알려져 있습니다. 사진과 영상이 그렇습니다. 그런데 그 비정형이 다루기 가장 어려운 쪽이기도 합니다. 빅데이터가 어려운 까닭이 여기 있습니다. 많이 쌓이는 것과 다루기 쉬운 것이 정반대입니다.
사진에 무엇이 찍혔는지 컴퓨터가 알아내는 일은 흔히 인공지능이 맡습니다. 여기서는 「비정형 데이터를 다루려면 한 단계가 더 필요하다」는 것만 기억해 두면 됩니다.
우리 반 단체 대화방의 하루치 기록은 어느 쪽에 가까울까요? 「보낸 사람」과 「보낸 시각」은 어느 쪽이고, 「메시지 내용」은 어느 쪽인지 나누어 생각해 보세요.
예전 조사와 무엇이 다른가
사람들이 무엇을 원하는지 알아보는 일은 예전에도 있었습니다. 설문지를 돌리고 답을 세는 방식입니다. 그러면 빅데이터는 그것과 무엇이 다를까요. 두 가지가 다릅니다.
예전 — 물어서 모은다
몇백 명을 골라 물어보고, 그 답으로 전체를 미루어 짐작합니다. 답한 사람만큼만 알 수 있고, 물어본 것만 알 수 있습니다.
사람들이 스스로 말한 것이라 사실과 다를 수 있습니다. 「하루에 몇 시간 공부하나요」에 실제보다 길게 답하는 식입니다.
지금 — 남은 것을 본다
묻지 않고 이미 쌓인 흔적을 봅니다. 답한 사람만이 아니라 그 일을 하며 흔적을 남긴 사람 전부가 들어옵니다.
말이 아니라 실제로 한 행동이 남습니다. 무엇을 검색했고 어디서 내렸는지는 꾸며 내기 어렵습니다.
그래서 할 수 있게 된 일
예를 들어 밤늦게 다니는 버스 노선을 어디에 둘지 정한다고 합시다. 예전이라면 설문으로 「어디에 필요한가」를 물었을 것입니다. 지금은 심야 시간에 통화가 어디에서 어디로 많이 오갔는지를 보고 사람들이 실제로 어디에서 어디로 움직이는지를 짐작할 수 있습니다. 묻지 않고, 훨씬 많은 사람의 실제 움직임을 근거로 정하는 것입니다.
그렇다고 예전 방식이 못 쓰게 된 것은 아닙니다
빅데이터는 「무엇을 했는가」는 아주 잘 보여 주지만 「왜 그랬는가」는 알려 주지 않습니다. 어느 정류장에서 사람들이 많이 내린다는 것은 알 수 있어도, 그곳에 왜 가는지는 데이터에 적혀 있지 않습니다. 그것은 물어봐야 알 수 있습니다.
또 흔적을 남기지 않는 사람은 아예 보이지 않습니다. 휴대전화를 쓰지 않는 사람의 움직임은 통화 기록에 남지 않습니다. 「전부가 들어온다」는 말은 정확히는 「그 기기를 쓴 사람 전부」입니다. 이 구별을 놓치면 데이터에 잡히지 않은 사람들이 통째로 빠진 채 결정이 내려집니다.
「저절로 쌓인다」고 해서 그냥 가져다 쓸 수 있는 것은 아닙니다. 모아 놓은 것을 쓸 수 있는 모양으로 만드는 데 손이 더 갑니다.
급식 잔반량 데이터로 「학생들이 어떤 반찬을 싫어하는지」는 알 수 있습니다. 그런데 데이터만으로는 알 수 없는 것이 있습니다. 무엇일까요?
핵심 정리
빅데이터의 뜻
- 지금까지 쓰던 방법으로는 다루기 어려울 만큼 크고 빠르고 제각각인 데이터 더미다.
- 그것을 정리하고 분석해 쓸 만한 것으로 만드는 일까지 함께 가리키기도 한다.
- 「몇 GB부터」 같은 기준선은 없다. 다루는 쪽의 사정과 시대에 따라 달라진다.
세 가지 특성(3V)
- 크기 · 속도 · 다양성. 용량 단위는 한 단위 올라갈 때마다 약 1,000배가 된다.
- 셋이 겹쳐야 빅데이터다. 하나만으로는 말할 수 없다.
- 여기에 정확성과 가치를 더해 다섯으로 말하기도 한다. 정확성과 가치는 쓸모에 대한 이야기다.
데이터의 생김새
- 구분하는 기준은 「표에 담을 수 있는가」다.
- 정형은 표에 그대로, 반정형은 이름표를 따라, 비정형은 틀이 아예 없다.
- 가장 많이 쌓이는 비정형이 가장 다루기 어렵다.
예전 조사와의 차이
- 묻지 않고 남은 흔적을 보므로, 말이 아니라 실제 행동이 들어온다.
- 다만 「왜 그랬는가」는 알려 주지 않는다. 그것은 물어봐야 안다.
- 흔적을 남기지 않는 사람은 아예 보이지 않는다.
확인 퀴즈
배운 내용을 확인해 봅시다.
빅데이터에 대한 설명으로 알맞지 않은 것은?
학교 급식실 앞에 설치한 카메라가 찍은 영상은 어느 쪽일까요?
빅데이터가 가장 다루기 까다로운 까닭으로 알맞은 것은?
심야 통화 기록으로 버스 노선을 정했습니다. 이 방법의 한계로 알맞은 것은?