데이터 과학 프로젝트란

데이터를 모으는 법, 빠진 값을 메우는 법, 그림으로 그려 보는 법, 그리고 회귀 · 군집 · 연관으로 관계를 찾는 법을 하나씩 익힐 때는 대개 이미 골라진 데이터가 앞에 놓여 있고, 무엇을 알아볼지도 이미 정해져 있습니다.

프로젝트는 그 정해져 있던 부분을 여러분이 직접 정하는 활동입니다. 무엇이 궁금한지 스스로 문장으로 쓰고, 그 문장에 답할 데이터를 찾아오고, 답을 얻은 뒤에는 다른 사람이 검토할 수 있는 형태로 내놓습니다.

앞의 세 단계는 데이터를 쓸 수 있게 만드는 일이고, 뒤의 세 단계는 그 데이터에서 답을 꺼내는 일입니다. 해 보면 알겠지만 대개 앞의 세 단계가 훨씬 오래 걸립니다. 분석이 화려해 보여도 일의 많은 부분이 데이터를 정리하는 데 들어갑니다.

단계마다 결정할 것

표에 적힌 것은 모두 결정입니다. 프로젝트가 어려운 것은 기술 때문이 아니라 그 결정을 아무도 대신 내려 주지 않기 때문입니다.

눈여겨볼 것은 단계 1에서 「붐빈다」를 승차 인원으로 바꾼 결정입니다. 그것을 정류장에 서 있는 사람 수로 정했다면 전혀 다른 데이터를 모으고 전혀 다른 결론에 이르렀을 것입니다. 단계 1의 한 줄이 나머지 다섯 단계를 거의 다 정해 버립니다.

단계를 번호로 적어 두면 계단처럼 보이지만, 실제로는 앞으로 갔다가 몇 칸 뒤로 물러나기를 반복하게 됩니다. 뒤로 물러나는 것은 잘못해서가 아니라, 해 보기 전에는 알 수 없던 것을 그제야 알게 되었기 때문입니다.

위 네 가지는 어떤 데이터로 무엇을 알아낼 수 있는지를 보이려고 든 예입니다. 특정 기관이 실제로 진행한 사업을 가리키는 것이 아니니, 여러분이 관심 있는 분야에서 실제 사례를 직접 찾아보세요.