인공지능의 뼈아픈 실수, 어디서 비롯될까?
우리는 사람의 판단에는 기분이나 선입견이 섞이지만 기계의 계산에는 그런 것이 없다고 생각하기 쉽습니다. 그런데 신입 사원을 고르거나 대출을 해 줄지 정하는 일처럼 사람의 삶을 크게 바꾸는 결정을 인공지능에 맡긴 곳에서, 특정한 집단이 계속 불리한 결과를 받는 일이 실제로 여러 번 확인되었습니다. 모델은 데이터에 자주 나타난 규칙을 찾아 따라 하는 방식이므로, 건네준 데이터가 이미 한쪽으로 기울어 있으면 그 기울기까지 함께 배웁니다.
데이터 편향성(data bias)
학습에 쓰는 데이터가 실제 세상의 모습을 고르게 담지 못하고 한쪽으로 치우쳐 있는 것을 말합니다. 치우침은 사람의 선입견이 들어가서 생기기도 하고, 그런 뜻이 전혀 없어도 어떤 집단의 자료가 적게 모여서 생기기도 합니다. 인공신경망의 계산 안에서 더해 주는 숫자도 편향(bias)이라 부르지만, 그것과는 이름만 같은 다른 개념입니다.
GIGO(Garbage In, Garbage Out) — 「들어간 것이 쓰레기면 나오는 것도 쓰레기」라는 뜻으로, 들어가는 데이터가 부실하면 아무리 좋은 방법으로 계산해도 결과를 믿을 수 없다는 말입니다. 계산을 잘하는 것으로는 데이터의 치우침을 되돌릴 수 없습니다.
① 아무도 차별할 생각이 없어도
가장 흔하고 가장 알아차리기 어려운 경로입니다. 만드는 사람도 쓰는 사람도 나쁜 뜻이 전혀 없는데, 과거에 쌓인 기록을 그대로 학습하면 과거의 치우침이 그대로 반복됩니다. 예전에 어떤 자리에 한쪽 성별만 뽑혔다면 그 기록에서 배운 모델은 「그 성별이 이 일에 맞는다」는 규칙을 찾아냅니다. 차별하라고 시킨 사람은 아무도 없지만 결과는 차별이 됩니다.
② 일부러 밀어 넣는 경우
사용자와 나눈 대화를 계속 받아 학습하도록 만든 대화 프로그램이 문을 연 지 얼마 되지 않아 서비스를 멈춘 일이 여러 번 있었습니다. 일부 사용자가 혐오 표현을 반복해 입력했고, 들어오는 말을 걸러 내는 장치 없이 그대로 학습에 쓰도록 만들어 두었기 때문입니다. 이 경로는 원인이 눈에 보이는 편이라, 알아차리기는 ①이 훨씬 어렵습니다.
「인공지능이 편견을 갖게 되었다」고 말하지 않습니다. 모델에는 미워하는 마음도 우대하려는 뜻도 없습니다. 자주 함께 나타난 값들을 규칙으로 삼았을 뿐이고, 그 데이터를 고른 것도, 그 결과를 실제 심사에 쓰기로 정한 것도 사람입니다. 그래서 여기서 살펴야 할 것은 기계의 마음이 아니라 사람이 내린 결정입니다.
어느 학교가 지난 10년 동안 동아리 회장으로 뽑힌 학생의 기록으로 「회장감」을 골라 주는 프로그램을 만들었습니다. 만든 사람에게 나쁜 뜻이 없어도 결과가 한쪽으로 기울 수 있는 까닭을 한 문장으로 말할 수 있나요?
치우침은 두 곳에서 온다
편향을 「데이터 문제」로만 알고 있으면, 데이터를 고르게 모으고도 결과가 그대로인 상황에서 손을 놓게 됩니다. 편향이 들어오는 곳은 둘입니다.
데이터 편향(data bias)
학습에 쓴 데이터가 실제 세상을 고르게 담지 못해 생기는 치우침. 어떤 집단의 자료가 적거나, 한 시기·한 지역의 자료만 모였거나, 이름표를 붙이는 사람의 선입견이 들어간 경우입니다.
물어야 할 것 — 무엇을 배웠는가?
누구의 자료가 얼마나 들어 있고, 누구의 자료가 빠져 있는가.
알고리즘 편향(algorithmic bias)
데이터가 아니라 사람이 설계를 정하는 과정에서 생기는 치우침. 무엇을 맞히는 것을 목표로 삼을지, 어떤 속성을 근거로 쓸지, 몇 점부터를 합격으로 자를지를 정하는 자리에서 들어옵니다.
물어야 할 것 — 무엇을 맞히라고 시켰고, 어디서 잘랐는가?
그 목표와 그 경계는 누구에게 유리한가.
측정하고 싶은 것을 직접 측정할 수 없을 때
알고리즘 편향은 목표를 정하는 순간에 가장 자주 생깁니다. 우리가 정말 알고 싶은 것은 대개 숫자로 바로 측정할 수 없어서, 측정할 수 있는 다른 값으로 대신하게 됩니다. 이렇게 대신 쓰는 값을 대리 지표라고 합니다.
| 정말 알고 싶은 것 | 대신 측정하는 값 | 누가 불리해지나 |
|---|---|---|
| 성실한 학생인가 | 지각 횟수 | 통학 거리가 멀거나 새벽에 일을 돕는 학생 |
| 일을 잘할 사람인가 | 과거 합격자와 얼마나 닮았는가 | 지금까지 그 자리에 드물었던 모든 사람 |
| 다시 범죄를 저지를 사람인가 | 과거에 단속·검거된 기록 | 단속이 더 자주 이루어지던 지역의 주민 |
셋 다 데이터가 틀린 것이 아닙니다. 지각 기록도 검거 기록도 사실 그대로일 수 있습니다. 어긋난 것은 그 값으로 다른 것을 측정하기로 한 사람의 결정입니다. 그래서 데이터를 아무리 고르게 모아도, 목표를 이렇게 잡아 두면 편향은 그대로 남습니다.
데이터는 맞았는데 설계가 어긋난 예 — 시험을 치를 수 없게 된 해
감염병이 크게 번져 졸업 시험을 치를 수 없게 되자, 한 나라에서 학생의 성적을 알고리즘으로 산정한 일이 있었습니다. 개인의 답안이 없으니 그 학생이 다니는 학교가 예전에 받았던 성적 분포를 근거로 개인의 등급을 매기는 방식이었습니다. 결과가 나오자 형편이 어려운 지역의 학교에 다니는 학생들이 눈에 띄게 낮은 등급을 받았고, 반발이 커져 산정 결과는 전면 폐기되었습니다.
학교별 과거 성적이라는 데이터 자체는 틀리지 않았습니다. 문제는 「개인의 실력」을 「학교의 과거」로 대신 측정하기로 한 설계였습니다. 성적이 낮았던 학교의 학생은 자기가 무엇을 했든 낮은 쪽으로 밀려납니다. 데이터를 더 모아도 이 구조는 바뀌지 않습니다. 설계를 바꿔야 바뀝니다.
어느 회사가 「일을 열심히 하는 직원」을 판단하려고 사무실에 남아 있던 시간을 측정했습니다. 직원 자료를 아무리 고르게 모아도 편향이 남는 까닭을 대리 지표라는 말을 써서 설명할 수 있나요?
편향은 어디서부터 스며들까?
편향은 어느 한 곳에서 갑자기 나타나지 않습니다. 데이터를 모으는 순간부터 결과를 실제로 쓰는 순간까지, 거의 모든 단계에 사람의 선택이 끼어들고 그때마다 조금씩 스며듭니다.
데이터를 모아 쓰기까지의 여섯 단계
모아 온 그대로의 데이터를 원시 데이터라고 하고, 사람이 「이 사진은 고양이」처럼 데이터에 뜻을 알려 주는 이름표를 붙이는 일을 데이터 레이블링이라고 합니다. 데이터 전처리(모은 데이터를 학습에 쓸 수 있게 정리하는 일)가 이 흐름의 앞쪽에 해당합니다. 아래 흐름에서 붉은 글씨는 그 단계에서 던져야 할 물음입니다.
편향이 끼어드는 네 자리
① 데이터 수집
특정 집단·지역·시간대만 모으는 선택 편향
② 정제·레이블링
사람이 이름표를 붙이는 과정에 스며드는 선입견
③ 알고리즘 설계
목표와 자르는 기준을 정하는 데서 오는 알고리즘 편향
④ 활용·확산
왜곡된 결과가 사회 전반으로 확대 재생산
데이터 편향은 크게 세 가지에서 옵니다. 첫째 양이 모자라거나 한쪽으로 쏠린 경우입니다. 어떤 집단의 자료가 너무 적으면 그 집단에 대해서는 배울 것이 없습니다. 둘째 품질이 낮거나 목적에 맞지 않는 경우입니다. 값이 잘못 적혀 있거나, 지금과 사정이 다른 시기의 자료라면 지금의 판단에는 맞지 않습니다. 셋째 무엇을 모으고 무엇을 뺄지 고르는 사람의 선입견입니다. 셋 다 주로 ①·② 단계에서 생깁니다. 셋째의 선입견이 ③에서 목표와 기준을 정할 때 들어오면 그때는 알고리즘 편향이 됩니다.
④가 특히 무거운 까닭은, 여기서 나온 결과가 다음 차례의 데이터가 되기 때문입니다. 어떤 지역에 순찰을 더 보내라고 예측하면 그 지역에서 적발 기록이 더 쌓이고, 그 기록이 다시 「그 지역이 위험하다」는 근거로 학습됩니다. 한 번 기운 판단이 스스로를 뒷받침하는 증거를 만들어 내는 셈이라, 시간이 갈수록 되돌리기 어려워집니다.
급식 만족도를 조사하는 설문을 점심시간 직후 3학년 교실에서만 받고, 「맛없다」는 답은 장난으로 보고 지웠습니다. 편향이 끼어든 단계는 어디어디인가요?
실제로 드러난 사례 (1~3)
편향은 실제로 어떤 모습으로 나타났을까?
여섯 가지를 나누어 봅니다. 어느 회사가 나빴는가가 아니라 무엇이 어떻게 어긋났는가를 보는 것이 목적이므로, 기관 이름 대신 어떤 일에 쓰인 시스템이었는지로 적었습니다. 각 카드의 배지로 「치우침은 두 곳에서 온다」 절의 두 갈래 가운데 어느 쪽인지도 함께 보세요.
1. 과거의 합격자를 닮은 사람 찾기
이력서를 걸러 주는 채용 심사 시스템
한 기술 기업이 10년 치 이력서로 지원자를 평가하는 프로그램을 만들었는데, 이력서에 특정 성별을 가리키는 낱말이 들어 있으면 점수가 낮아지는 현상이 확인되어 결국 폐기되었습니다.
무엇이 어긋났나
그 업계에는 오랫동안 한쪽 성별의 직원이 훨씬 많았고, 학습에 쓴 이력서도 그대로 그러했습니다. 모델은 합격자들에게 공통으로 나타난 특징을 찾도록 되어 있었으므로, 실력과 상관없는 성별 관련 표현까지 그 특징에 포함해 버린 것입니다. 누구도 그렇게 뽑으라고 지시하지 않았는데도 결과는 그렇게 나왔습니다.
2. 오래 쌓인 고정관념이 되살아난 번역
성별을 구분하지 않는 언어에서 옮겨 오는 번역
원래 문장에는 성별이 적혀 있지 않은데도, 번역 결과에서 의사는 남성으로, 간호사는 여성으로 성별이 붙어 나오는 일이 보고되었습니다.
무엇이 어긋났나
번역 모델은 사람이 써 온 방대한 글에서 어떤 말이 어떤 말과 자주 붙어 쓰였는지를 배웁니다. 그 글들 안에 오랜 세월 쌓인 직업과 성별에 대한 고정관념이 들어 있었으므로, 원문에 없던 정보를 「가장 그럴듯한 말」로 채워 넣은 것입니다. 이런 치우침은 지금 데이터를 새로 모아도 잘 없어지지 않습니다. 사회가 남긴 기록 전체에 걸쳐 있기 때문입니다.
3. 어떤 얼굴에서만 자주 틀리는 인식
얼굴을 알아보는 인식 시스템
여러 얼굴 인식 시스템을 집단별로 나누어 검사했더니, 피부색이 어두운 사람과 여성의 얼굴에서 틀리는 비율이 뚜렷하게 높았습니다.
무엇이 어긋났나
학습에 쓴 사진이 특정 집단에 크게 쏠려 있었고, 집단별로 사진 수를 비슷하게 맞추는 일을 하지 않았습니다. 모델은 적게 본 얼굴에 대해서는 배운 것이 적습니다. 학습한 범위를 벗어나면 자신 있게 틀리는 일이 집단 단위로 일어난 것입니다. 이 사례는 전체 정확도만 보아서는 드러나지 않는데, 그 까닭은 「성적표가 좋은데 왜 못 찾았을까」 절에서 봅니다.
한 음성 비서가 표준어로 말할 때는 잘 알아듣는데, 어르신의 사투리는 자주 잘못 받아 적습니다. 어떤 자료가 어떻게 치우쳐 있었을지 한 문장으로 말할 수 있나요?
실제로 드러난 사례 (4~6)
앞의 셋이 「데이터가 치우쳐서」에 가까웠다면, 다음 셋은 목표를 잘못 잡거나, 결과가 더 과장되거나, 쓸 수 있는 사람이 나뉘는 쪽입니다.
4. 「위험」을 「단속된 기록」으로 대신 측정한 예측
다시 범죄를 저지를 가능성을 점수로 매기는 시스템
비슷한 전과를 가진 사람들인데도 특정 인종이 고위험으로 더 많이 분류된다는 분석이 나와 크게 논란이 되었습니다.
무엇이 어긋났나
두 가지가 겹쳤습니다. 하나는 지역과 집단에 따라 단속과 검거가 이루어진 정도가 원래 달랐다는 점이고, 다른 하나는 알고 싶은 「다시 범죄를 저지를까」를 「다시 붙잡힐까」로 대신 측정하도록 설계했다는 점입니다. 앞의 것은 데이터의 문제이고, 뒤의 것은 설계의 문제입니다.
5. 현실보다 더 치우친 그림
글로 설명하면 그림을 만들어 주는 생성형 프로그램
「최고 경영자」나 「판사」를 그려 달라고 하면 특정 성별과 인종이 거의 전부를 차지했고, 실제 그 직업의 구성보다도 더 한쪽으로 쏠린 결과가 나왔습니다.
무엇이 어긋났나
학습한 그림이 이미 치우쳐 있었던 데다, 생성하는 방식이 「가장 그럴듯한 것」을 고르도록 되어 있다는 점이 겹쳤습니다. 가장 흔한 쪽을 계속 고르면 드문 쪽은 점점 나오지 않게 되어, 결과가 현실보다 더 심하게 쏠립니다. 데이터의 치우침이 그대로 옮겨진 데서 그치지 않고 더 커졌습니다.
6. 쓸 수 있는 사람이 언어에 따라 나뉘는 문제
언어에 따라 성능이 크게 달라지는 서비스
세계에서 영어를 쓰는 사람은 일부인데, 인터넷에 공개되어 학습에 쓰이는 글은 영어가 압도적으로 많습니다. 그래서 쓰는 사람이 적은 언어일수록 번역·요약·상담 같은 기능이 눈에 띄게 서툽니다.
무엇이 어긋났나
어느 한 곳에서 잘못한 일이 아니라, 학습에 쓸 자료의 양이 언어마다 처음부터 크게 달랐다는 조건에서 옵니다. 이 격차는 결과에서 그치지 않고, 좋은 도구를 쓰는 쪽이 더 많은 기록을 남기고 그 기록이 다시 학습에 쓰이면서 더 벌어지기 쉽습니다.
조사·토의 활동 · 내 추천 목록은 얼마나 넓은가
1단계 — 지금 내 추천 목록을 마인드맵으로 그려 보기
즐겨 보는 동영상 서비스의 추천 목록을 열어, 어떤 갈래가 몇 개씩 뜨는지 마인드맵으로 정리해 봅시다. 나와 가까운 갈래는 가운데에, 관심 없는 갈래는 바깥쪽에 놓으면 쏠린 정도가 눈에 보입니다.
2단계 — 짝과 비교하고 이야기 나누기
짝의 마인드맵과 나란히 놓고 봅시다. 같은 서비스인데 왜 다른 목록이 떴는지, 내가 원래 좋아해서 많이 뜬 것인지 많이 떠서 더 좋아하게 된 것인지 이야기해 봅시다.
확증 편향이란 자기 생각과 맞는 정보만 받아들이고 어긋나는 정보는 흘려보내는 사람의 경향을 말합니다. 추천 기능이 좋아할 만한 것을 골라 주면 이 경향이 더 강해지기 쉽습니다. 다만 이것은 사람 쪽의 편향이라, 앞에서 본 데이터 편향·알고리즘 편향과는 다른 말입니다. 세 가지가 서로를 부추기는 관계라고 보아 두면 됩니다.
3단계 — 사례 하나를 더 조사해 원인을 나누어 보기
앞의 여섯 가지 말고 다른 편향 사례를 하나 찾아, 데이터에서 온 것인지 설계에서 온 것인지 둘 다인지를 나누어 적고 친구들과 비교해 봅시다. 나아가 그 시스템을 다시 만든다면 데이터를 모을 때 무엇을 미리 정해 두어야 했을지도 함께 적어 봅시다.
한 쇼핑몰이 「좋은 고객」을 「한 달에 돈을 많이 쓴 고객」으로 정해 할인 쿠폰을 보냈습니다. 고객 자료를 더 고르게 모으면 이 치우침이 사라질까요? 까닭도 함께 말해 보세요.
성적표가 좋은데 왜 못 찾았을까
편향은 성능 평가를 통과한 모델에도 그대로 남아 있을 수 있습니다.
전체 정확도가 높아도 어떤 사람들에게는 쓸모없는 모델이 있습니다. 전체를 뭉쳐서 한 숫자로 측정하면, 수가 적은 집단에서 나는 오류는 그 숫자에 거의 영향을 주지 않습니다. 아래 표의 숫자는 수업에서 원리를 확인하려고 지어낸 값입니다.
| 무엇을 측정했나 | 검사한 사람 수 | 정확도 | 읽는 법 |
|---|---|---|---|
| 전체 | 1,000명 | 96% | 「아주 잘 만든 모델」로 보인다 |
| 집단 A | 900명 | 99% | 전체 숫자를 거의 이 집단이 만들었다 |
| 집단 B | 100명 | 69% | 세 명에 한 명꼴로 틀린다 |
집단 B에 속한 사람에게 이 모델은 세 번에 한 번은 틀리는 장치입니다. 그런데 성능 보고서에 적히는 숫자는 96%이고, 그 숫자만 보고 도입을 결정하면 이 사실은 끝까지 드러나지 않습니다. 편향은 성능이 나쁘다는 신호로 나타나지 않습니다. 성능이 고르지 않다는 신호로 나타납니다.
그래서 하는 일 — 집단별로 나누어 다시 측정하기. 같은 평가를 전체에 한 번 하는 대신, 성별·연령·지역처럼 불이익이 생길 수 있는 기준으로 나누어 따로 측정하고 값을 나란히 놓습니다. 정밀도·재현율(양성으로 판정한 것 가운데 실제 양성의 비율 · 실제 양성 가운데 찾아낸 비율)도 같은 방식으로 집단마다 따로 구해 비교해 봅니다.
여기에도 남는 어려움이 있습니다. 집단별로 나누어 측정하려면 누가 어느 집단인지를 알아야 하는데, 바로 그 정보를 함부로 모으지 않는 것이 개인 정보 보호의 원칙입니다. 또 나눌 기준을 정하는 것부터가 사람의 판단이라, 아무도 떠올리지 못한 기준에서 생긴 불이익은 끝내 확인되지 않습니다. 「집단별로 측정하면 편향이 없어진다」가 아니라 「측정해야 볼 수라도 있다」가 맞는 말입니다.
「정확도가 96%나 되니 이 모델은 공정하다」는 말이 왜 성립하지 않는지, 위 표의 숫자를 들어 설명할 수 있나요?
「특정 집단의 데이터만 쓰는 것도 편향 아닌가요?」
자주 나오는 물음입니다. 특정 연령대만 이용하는 옷 가게가 그 연령대의 구매 기록만으로 추천 기능을 만들었다면, 데이터는 분명 한쪽으로 몰려 있습니다. 그런데 이것을 앞에서 본 편향과 같은 것으로 부르면 이야기가 엉킵니다. 「편향」이라는 낱말이 두 가지 뜻으로 쓰이고 있기 때문입니다.
① 대상을 좁힌 것 — 밝혀 놓은 범위
처음부터 누구를 위한 것인지 정해 놓고 그 범위의 데이터를 쓴 경우입니다. 문제 정의 단계에서 대상을 정하는 일이므로 잘못이 아니고, 「편향」보다 대상 설정이라 부르는 편이 정확합니다.
② 실제로 문제가 되는 편향 — 숨어 있는 치우침
모두를 위한 것이라고 해 놓고 실제로는 일부의 데이터만 담긴 경우입니다. 누구도 범위를 좁힌다고 말한 적이 없기 때문에, 밖에 있는 사람은 자기가 왜 불리한지 알 길이 없습니다.
구분하는 물음은 하나입니다. 「누구를 위한 것인지 밝혀 두었는가?」 밝히지 않았다면 ②이고, 이것이 여기서 다루는 편향입니다.
그리고 ①에도 대가가 따릅니다. 좁힌 범위 밖의 사람에게는 그 서비스가 잘 맞지 않고, 그것이 옷 추천이라면 불편에서 그치지만 병을 찾아내는 장치나 대출 심사라면 이야기가 달라집니다. 그래서 「대상을 좁혀도 되는 일인가」를 먼저 검토해야 하고, 그 판단은 기술이 아니라 사람이 하는 것입니다.
편향을 줄이기 위해 하는 일
「이렇게 하면 해결된다」는 목록이 아닙니다.
편향을 0으로 만드는 방법은 알려져 있지 않습니다. 아래 넷은 편향을 줄이고, 남은 것을 눈에 보이게 만드는 방법이고, 그래서 각각에 그래도 남는 어려움을 함께 적었습니다.
양질의 데이터를 갖추기
충분한 양을 모으되 양보다 어느 집단의 자료가 얼마나 들어 있는지를 먼저 봅니다. 모자란 쪽을 더 모으고, 잘못 적힌 값을 바로잡고, 언제 모은 자료인지를 확인합니다. 누구나 쓸 수 있게 공개된 공공 데이터를 함께 쓰면 한쪽으로 쏠릴 위험을 조금 줄일 수 있습니다.
그래도 남는 어려움 — 「고르게」의 기준부터 정해야 합니다. 인구 비율에 맞출지, 실제 이용자 비율에 맞출지에 따라 결과가 달라집니다. 게다가 어떤 집단이 빠져 있었는지는 대개 문제가 터진 뒤에야 알게 됩니다. 튀는 값(이상치)을 무조건 지우면 안 되는 까닭도 여기 있습니다. 소수 집단의 자료가 이상치처럼 보인다고 지워 버리면, 정리를 하다가 편향을 만들게 됩니다.
목표와 기준을 밝히고 설계하기
데이터가 고르더라도 설계에서 편향이 들어올 수 있으므로, 무엇을 맞히기로 했는지, 어떤 값으로 그것을 대신 측정하는지, 어디서 잘랐는지를 적어 두고 밖에서 볼 수 있게 합니다. 성별·지역 같은 값을 근거로 쓰지 않기로 했다면 그 사실도 밝힙니다.
그래도 남는 어려움 — 「공정하다」는 말의 뜻이 하나가 아닙니다. 모두에게 똑같은 기준을 적용하는 것과, 처지가 다른 사람을 다르게 대하는 것은 둘 다 공정이라 불리는데 서로 어긋납니다. 결과가 집단마다 고르게 나오는 것을 공정으로 보는 뜻도 있는데, 집단마다 틀리는 비율을 나란히 놓고 비교하는 것은 이 뜻을 살피는 일입니다. 하나를 맞추면 다른 하나가 틀어지는 경우가 많아, 어느 뜻을 따를지부터 정해야 합니다. 또 성별 같은 값을 빼도, 그와 함께 움직이는 다른 값이 남아 있으면 결과는 거의 그대로일 수 있습니다.
판단 근거를 볼 수 있게 만들기
딥러닝 모델은 학습으로 정해지는 수가 수백만 개를 넘기도 해서, 왜 그런 결과가 나왔는지 사람이 따라가 보기 어렵습니다. 속을 살펴볼 수 없다는 뜻에서 이런 모델을 블랙박스라고 부릅니다.
그래서 결과와 함께 어떤 근거가 판단에 크게 작용했는지를 사람이 읽을 수 있는 형태로 내놓게 만드는 연구가 이어지고 있고, 이런 방향을 설명 가능한 인공지능(XAI)이라고 부릅니다. 읽을 수 없는 결과는 검토할 수도 없기 때문에 편향을 다루는 데 꼭 필요합니다.
그래도 남는 어려움 — 근거를 보여 준다고 해서 그 근거가 옳다는 뜻은 아닙니다. 그럴듯한 설명이 붙으면 오히려 더 믿게 되어, 확인을 건너뛰는 일도 생깁니다. 설명은 검토하기 위한 재료이지 결론이 아닙니다.
쓰기 시작한 뒤에도 지켜보기
「인공지능이 계산했으니 맞겠지」라는 생각을 내려놓고, 결과를 비판적으로 받아들이는 태도가 필요합니다. 만드는 쪽에서는 집단별로 나누어 성능을 계속 측정하고, 쓰는 쪽에서는 이의를 제기할 통로와 결정을 되돌리는 절차를 갖춥니다. 세상이 달라지면 학습에 쓴 데이터와 지금의 데이터가 어긋나므로, 한 번 잘 만든 것으로 끝나지 않습니다.
그래도 남는 어려움 — 감시가 가장 필요한 사람이 감시하기 가장 어렵습니다. 떨어진 사람은 왜 떨어졌는지 모르고, 아예 기회를 받지 못한 사람은 그런 일이 있었다는 사실조차 모릅니다. 그래서 이 일은 개인의 관심에만 맡길 수 없고 제도와 절차로 만들어 두어야 합니다.
남길 한 문장
편향은 기계가 가진 성질이 아니라, 사람이 무엇을 모으고 무엇을 목표로 삼고 어디서 잘랐는지가 결과에 남은 자국입니다. 그래서 「더 좋은 인공지능이 나오면 저절로 해결될 문제」가 아니고, 「데이터만 고르게 모으면 끝나는 문제」도 아닙니다. 할 수 있는 일은 줄이고, 나누어 측정하고, 드러나면 고치는 것입니다.
한 회사가 「우리 채용 프로그램은 성별 칸을 지웠으니 성별 편향이 없습니다」라고 발표했습니다. 이 말에 남는 어려움을 한 문장으로 지적할 수 있나요?
확인 퀴즈
배운 내용을 확인해 봅시다.