어느 쪽을 선택해도 어려운 윤리적 딜레마
답을 몰라서 어려운 문제와, 답을 알아도 어려운 문제는 다르다
인공지능은 데이터에 자주 나타난 규칙을 찾아 따라 하는 방식으로 일합니다. 그런데 사람이 하던 판단을 기계에 넘기려고 하면, 계산을 아무리 잘해도 좁혀지지 않는 물음이 남습니다. 무엇을 더 소중히 여길 것인지는 데이터 안에 적혀 있지 않기 때문입니다.
그냥 어려운 문제
답이 있기는 한데 아직 못 찾은 상태입니다. 자료를 더 모으거나, 더 정확하게 측정하거나, 더 오래 계산하면 답에 가까워집니다.
예 — 이 사진 속 동물이 무엇인지 알아내기, 내일 강수량을 더 정확히 맞히기
딜레마
갈 수 있는 길이 둘뿐인데, 어느 길로 가든 소중히 여기던 것 하나를 내려놓게 되는 상황입니다. 자료를 더 모아도 내려놓아야 하는 것이 사라지지 않습니다.
예 — 한 사람의 사생활을 지킬 것인가, 여러 사람의 안전을 위해 그 기록을 볼 것인가
윤리적 딜레마는 그중에서도 내려놓게 되는 것이 사람의 생명·권리·공정함처럼 윤리적인 가치일 때를 가리킵니다. 그래서 「어느 것이 더 빠른가」로는 고를 수 없고, 무엇을 먼저 지킬 것인지를 사람이 정해야 비로소 답이 정해집니다.
「정답이 없다」로 끝내지 않으려면 — 검토할 세 가지
딜레마에는 모두가 옳다고 할 하나의 답이 없습니다. 하지만 아무렇게나 정해도 된다는 뜻은 전혀 아닙니다. 다음 셋은 어떤 딜레마에서도 검토할 수 있습니다.
- 각 선택이 무엇을 지키고 무엇을 포기하는가 — 두 칸으로 나누어 적어 봅니다. 적어 보기 전에는 대개 한쪽의 대가만 눈에 들어옵니다.
- 그 대가가 누구에게 돌아가는가 — 정하는 사람과 대가를 치르는 사람이 다르다면, 그 점 자체가 검토해야 할 문제입니다.
- 그렇게 정한 까닭을 남에게 설명할 수 있는가 — 설명할 수 없는 기준은 다음에 같은 상황이 와도 반복할 수 없습니다.
헷갈리기 쉬운 점
「컴퓨터니까 어떤 상황에서든 가장 좋은 답 하나를 계산해 내지 않을까?」
계산으로 좁혀지는 것과 정해 주어야 하는 것은 다릅니다. 「어느 길이 더 빠른가」는 계산으로 좁혀지지만,
「빠른 것과 안전한 것 중 무엇을 먼저 볼 것인가」는 사람이 정해 주어야 합니다. 그리고 그 기준을 프로그램 안에 적어
넣는 것도 사람입니다.
최근에 겪은 고민 하나를 떠올려 보세요. 그것은 「그냥 어려운 문제」였나요, 아니면 「어느 쪽을 골라도 무언가를 내려놓는 딜레마」였나요? 위 두 카드를 비교해 보세요.
결과가 같은데 답이 나뉜다 — 트롤리 딜레마
윤리적 딜레마가 어떤 모양인지 가장 또렷하게 보여 주는 생각 실험입니다. 실제로 벌어진 일이 아니라, 사람들이 무엇을 근거로 판단하는지 알아보려고 만든 상상 속 상황입니다.
트롤리(trolley)는 레일 위를 달리는 작은 차입니다. 브레이크가 듣지 않는 트롤리가 다섯 사람이 있는 쪽으로 달려오고 있습니다. 아래 두 상황은 「한 사람이 죽고 다섯 사람이 산다」는 결과가 똑같습니다. 그런데 물어보면 두 상황에서 사람들의 대답이 크게 나뉩니다.
숫자가 같은데 왜 대답이 나뉠까
많은 사람이 상황 1에서는 전환기를 당기겠다고 답하고, 상황 2에서는 밀지 못하겠다고 답합니다. 살고 죽는 사람 수만 세면 두 상황은 똑같습니다. 그래서 사람의 판단이 결과의 숫자만으로 이루어지는 것이 아니라는 사실이 드러납니다. 상황 2에서는 한 사람을 다섯을 구하는 도구로 쓰게 되고, 그 사람에게 손을 직접 대야 합니다. 상황 1에서는 그 한 사람이 원래 다른 선로에 있었을 뿐입니다.
어느 쪽이 정답인지는 이 수업에서 정하지 않습니다. 이 상황을 다루는 목적은 답을 외우는 것이 아니라, 내가 어떤 것을 더 무겁게 여기는지를 스스로 확인하고 그것을 말로 설명해 보는 데 있습니다. 실제 사고에는 「어떤 행동을 해도 법적 책임을 묻지 않는다」 같은 가정이 없다는 점도 함께 기억해 두세요.
아픈 다섯 사람을 살리려고 건강한 한 사람의 장기를 몰래 나누어 준다는 이야기에는 거의 모두가 반대합니다. 이것은 상황 1과 상황 2 가운데 어느 쪽과 닮았고, 무엇이 닮았나요?
판단할 때 쓰는 두 개의 자
선택이 나뉘는 것은 아무나 마음대로 골라서가 아닙니다. 무엇을 보고 옳고 그름을 판단할 것인지가 서로 다르기 때문입니다.
공리주의적 관점(utilitarianism)
결과를 보고 판단합니다. 그 행동이 가져오는 이로움과 해로움을 모두 더해서, 전체로 더 나은 쪽을 옳다고 봅니다.
트롤리에서는 — 다섯이 사는 쪽이 낫다고 봅니다. 상황 1과 상황 2를 같게 판단합니다.
여기서 걸리는 점 — 전체 합이 커지기만 하면 소수에게 불이익을 주어도 된다는 결론이 나올 수 있습니다.
의무주의적 관점(deontology)
지켜야 할 의무를 보고 판단합니다. 결과가 좋아지더라도 사람을 다른 목적을 위한 도구로 써서는 안 된다는 원칙이 있다고 봅니다.
트롤리에서는 — 상황 2처럼 한 사람을 수단으로 삼는 행동은 결과와 상관없이 할 수 없다고 봅니다.
여기서 걸리는 점 — 원칙을 지키느라 막을 수 있었던 큰 피해를 그냥 두게 되는 경우가 생깁니다.
두 관점을 어떻게 쓰라는 것인가
둘 중 하나가 맞고 하나가 틀린 것이 아닙니다. 서로 다른 것을 측정하는 두 개의 자라고 생각하는 편이 낫습니다. 어떤 결정을 앞두고 「결과로 보면 어떤가」와 「지켜야 할 선을 넘지는 않는가」를 각각 한 번씩 물어 보면, 한쪽으로만 보았을 때 놓치던 것이 드러납니다. 두 자가 서로 다른 답을 가리킬 때, 그때가 바로 딜레마입니다.
해 보기: 트롤리 딜레마를 적용해 보기
- 상황 1과 상황 2에서 나는 어떻게 하겠는지와 그 까닭을 각각 한 문장으로 적어 봅시다. 두 상황의 답이 서로 다르다면, 그 차이를 만든 것이 무엇인지도 적어 봅니다.
- 짝과 바꾸어 읽고, 답이 아니라 까닭을 비교해 봅시다. 같은 선택을 했더라도 까닭이 다를 수 있습니다.
- 인공지능이 이런 상황에 놓인다면 어떻게 하도록 미리 적어 두어야 할지 이야기해 봅시다. 그리고 그렇게 적기로 정하는 사람은 누구여야 하는지도 함께 생각해 봅시다.
교실에서 나온 답이 하나로 모이지 않아도 괜찮습니다. 어디에서 나뉘었는지를 확인하는 것이 이 활동의 목적입니다.
공리주의적 관점은 무엇을 보고 판단하나요? 의무주의적 관점은 무엇을 보나요? 그리고 각각에서 걸리는 점은 무엇이었나요?
상상 실험이 아니라 실제로 마주치는 자리
사람의 생명이나 안전과 맞닿은 곳에 인공지능을 들이면, 트롤리와 닮은 물음이 실제 설계 단계에서 나타납니다.
자율 주행 자동차
피할 수 없는 상황을 만나면 어떻게 하도록 해 두어야 할까?
브레이크가 듣지 않는데 앞에는 길을 건너는 사람들이 있고, 방향을 틀면 탄 사람이 다칩니다. 흔히 「그때 인공지능은 어떤 판단을 내릴까」라고 묻지만, 그 표현은 사실과 다릅니다. 자동차는 사고가 나는 순간에 고민을 시작하지 않습니다. 그런 상황에서 무엇을 먼저 지킬지는 훨씬 전에 사람이 정해 둔 것입니다. 규칙을 직접 적어 두든, 목표를 정해 그에 맞게 학습시키든, 자동차는 그렇게 정해진 대로 움직일 뿐입니다. 그래서 진짜 물음은 이렇게 바뀝니다 — 우리는 무엇을 먼저 지키게 할 것이며, 그것을 누가 정하는가.
실제 도로는 트롤리 그림보다 훨씬 흐릿하다
그림에서는 어느 쪽에 몇 사람이 있는지 또렷하지만, 실제로는 앞에 있는 것이 무엇인지부터 확실하지 않습니다. 자전거를 끌고 가는 사람을 다른 것으로 잘못 알아본 채 몇 초가 지나가기도 합니다. 학습한 범위를 벗어난 모습은 자신 있게 틀리기 쉽습니다. 그래서 현장에서 더 자주 부딪히는 물음은 「둘 중 누구를 고를까」보다 「확실하지 않을 때 어떻게 하도록 해 둘 것인가」, 「언제 사람에게 넘길 것인가」입니다.
사람들의 답은 사는 곳에 따라 달랐다
전 세계 사람들에게 이런 상황을 온라인으로 물어본 모럴 머신(Moral Machine) 조사가 있었습니다. 결과를 보면 사람을 동물보다, 많은 쪽을 적은 쪽보다 먼저 지키자는 답처럼 어디서나 비슷하게 나온 것도 있었지만, 그 정도는 문화권마다 달랐습니다. 예를 들어 젊은 쪽을 먼저 지켜야 한다는 응답이 뚜렷하게 많은 지역이 있는가 하면, 같은 경향이 훨씬 약하게 나타난 지역도 있었습니다. 이 조사는 사람들의 의견을 모은 것이지 어떤 규칙이 옳은지를 밝혀낸 것이 아닙니다.
헷갈리기 쉬운 점
「많은 사람이 고른 쪽으로 정하면 되지 않나?」
많이 골랐다는 것과 옳다는 것은 다릅니다. 설문 결과를 그대로 규칙으로 삼으면, 수가 적은 쪽에게
불리한 규칙이 「다수가 원했으니까」라는 이유로 정당해집니다. 조사 결과는 논의를 시작할 자료이지
논의의 결론이 아닙니다.
의료 현장의 인공지능
추천을 따를 것인가, 따르지 않을 것인가
많은 환자의 기록으로 학습한 프로그램이 의사에게 치료 방법을 추천합니다. 그런데 그 추천이 지금까지 쓰이던 방법과 다를 때, 의사는 어느 쪽으로 가든 무언가를 내려놓게 됩니다. 의료 현장의 딜레마는 이런 모양입니다.
| 선택 | 지키는 것 | 내려놓는 것 |
|---|---|---|
| 추천을 따른다 | 사람이 미처 보지 못한 것을 놓치지 않을 가능성 | 까닭을 스스로 확인해 보는 과정. 프로그램이 틀렸을 때 걸러 낼 사람이 없어진다 |
| 추천을 따르지 않는다 | 지금까지 쌓인 경험과 검증된 절차 | 그 추천이 실제로 더 나았을 경우에 얻을 수 있었던 결과 |
여기서 분명한 것 하나 — 어느 쪽을 고르든 고르는 주체는 의사입니다. 프로그램은 후보를 내놓을 뿐이고, 그 후보를 받아들일지 결정하는 자리에는 사람이 있습니다. 그래서 이 경우에 「인공지능이 결정했다」는 말은 성립하지 않습니다. 다만 결정을 도운 프로그램을 만든 쪽과 그것을 쓰기로 정한 병원에도 몫이 있는지는 또 다른 물음입니다.
자동 비상 제동 장치가 달린 버스가 갑자기 뛰어든 고양이 앞에서 급정거해 승객이 넘어졌습니다. 「버스가 그 순간 고양이를 살리기로 판단했다」는 말은 왜 사실과 다르고, 실제로 무엇을 누가 정해 둔 것인가요?
지금 실제로 다투고 있는 쟁점들
아래 넷은 어느 하나 「쓰지 말자」로도 「마음껏 쓰자」로도 정리되지 않은, 지금 사회가 답을 만들어 가고 있는 자리입니다.
| 쟁점 | 이런 점이 이롭다 | 이런 점이 걸린다 |
|---|---|---|
| 얼굴 인식 | 잃어버린 사람을 찾거나, 출입을 확인하는 일을 빠르게 할 수 있다 | 지나다니는 사람 모두가 늘 찍힌다. 아직 아무 일도 하지 않은 사람을 「할 것 같은 사람」으로 미리 나누는 데 쓰이기도 한다 |
| 개인 맞춤 추천 | 필요한 물건이나 볼거리를 빨리 찾을 수 있다 | 맞춰 주려면 무엇을 보고 얼마나 머물렀는지를 계속 모아야 한다. 무엇을 보게 될지가 내가 아닌 쪽에서 정해진다 |
| 창작물 생성 | 그림이나 음악을 만들어 본 적 없는 사람도 표현할 수 있게 된다 | 만들어진 결과물의 권리가 누구에게 있는지, 학습에 쓰인 원래 작품을 만든 사람에게는 무엇을 해야 하는지가 아직 정리되지 않았다 |
| 군사용 | 사람이 들어가기 위험한 곳의 일을 대신 맡길 수 있다 | 사람의 목숨을 빼앗는 결정을 사람 손을 거치지 않고 내리도록 만들어도 되는지에 대해 합의된 답이 없다 |
네 갈래를 관통하는 한 가지
네 칸 모두 「기술로 되느냐」는 이미 지나간 물음입니다. 넷 다 기술로는 됩니다. 남은 물음은 「되게 할 것인가, 되게 한다면 어떤 조건에서인가」이고, 이것은 기술이 아니라 사람들이 모여서 정할 문제입니다. 그리고 같은 기술이라도 어떤 조건에서 쓰이느냐에 따라 결과가 달라집니다.
해 보기: 조건을 붙여 보기
위 넷 중 하나를 골라, 「이런 조건이 갖추어진다면 써도 좋다」는 문장을 세 개만 만들어 봅시다. 조건에는 다음이 들어가면 좋습니다.
- 누구에게 무엇을 미리 알리고 동의를 받아야 하는가
- 결과가 이상할 때 누구에게 말할 수 있고, 어떻게 되돌릴 수 있는가
- 어떤 경우에는 아예 쓰지 않기로 정해 두어야 하는가
짝의 조건과 비교해 보고, 서로 조건이 나뉜 지점을 표시해 두세요. 그 지점이 사회에서도 실제로 다투고 있는 쟁점입니다.
네 쟁점 중 하나를 골라, 그 안에서 무엇과 무엇이 부딪히는지 한 문장으로 말해 보세요.
확인 퀴즈
배운 내용을 확인해 봅시다.