사회적 책임과 공정성

인공지능 사고, 누구의 책임일까요?

「모두의 책임」이라는 말로 끝내면 아무도 책임지지 않는다

인공지능을 만들고 쓰다가 실제로 일이 잘못되었을 때 무엇을 확인해야 하는지 살펴봅시다.

몫을 나누어 보는 네 자리

아래 네 자리에는 각각 물어볼 것이 따로 있습니다. 사고가 났을 때 한 자리에서만 답이 나오는 경우는 드물고, 여러 자리에 조금씩 걸쳐 있는 경우가 훨씬 많습니다.

누구	무엇을 정했나	물어야 할 것
만든 쪽 (개발자와 회사)	무엇을 맞히게 할지, 어떤 데이터로 배우게 할지, 어디서 자를지	예상 밖 상황에 어떻게 할지 정해 두었는가. 알려진 한계를 쓰는 쪽에 알렸는가
들여와 운영하는 쪽 (기관·회사)	이 일에 이 프로그램을 쓰기로 한 것, 어디까지 맡길지	사람이 확인하는 자리를 절차로 두었는가. 문제가 생겼을 때 멈추고 되돌릴 길이 있는가
쓰는 사람	어떤 상황에서 어떻게 쓸지, 나온 결과를 어떻게 받아들일지	안내된 방법대로 썼는가. 결과를 확인 없이 그대로 옮기지는 않았는가
허용한 제도 (법과 기준)	어떤 곳에 어디까지 쓰도록 허용할지	피해가 났을 때 누가 갚는지를 미리 정해 두었는가. 아직 비어 있는 자리는 어디인가

운전 보조 기능을 켜 두었을 때

운전을 도와주는 기능을 켠 채 앞을 보지 않고 있다가 사고가 난 경우가 여러 차례 있었습니다. 기능을 켰다고 해서 앞을 지켜볼 의무가 사라지지는 않는다고 본 판단이 나온 바 있습니다.

그렇다고 운전자만의 문제일까?
이 기능이 마치 사람을 대신하는 것처럼 알려졌다면, 그렇게 알린 쪽에도 물을 것이 남습니다. 「어디까지 하는 기능인지」를 정확히 알리는 일은 만든 쪽의 몫입니다.

사람이 오가는 곳에서 움직이는 로봇

안내나 순찰을 맡은 로봇이 아주 어린아이를 제때 알아보지 못해 부딪히는 사고가 보고된 적이 있습니다. 아이는 키가 작고 움직임이 갑작스러워, 학습에 쓰인 자료에 어른보다 적게 들어가기 쉽습니다.

여기서 나뉘는 두 몫
어떤 사람들의 모습이 자료에 적게 들어갔는지 살피지 않은 것은 만든 쪽의 몫이고, 아이가 많은 시간대에도 그대로 돌아다니게 둔 것은 들여 놓은 쪽의 몫입니다.

아직 정해지지 않은 부분이 있다

여기까지 나누어 보아도 답이 정해지지 않은 자리가 남습니다. 여러 회사가 만든 부품과 프로그램이 겹쳐 하나의 시스템이 되면, 어느 단계의 판단이 결과를 만들었는지 알아내기가 어렵습니다. 어디까지를 사람의 잘못으로 볼지, 피해를 누가 어떻게 갚을지는 나라마다 다르게 정해 가고 있는 중입니다. 「아직 정해지지 않았다」는 것도 그대로 알아 두어야 할 사실입니다. 정해지지 않았다는 것을 알아야, 정하는 자리에 목소리를 낼 수 있기 때문입니다.

스스로 확인

학교가 들인 자동 출결 장치가 쌍둥이 학생을 자주 바꿔 알아보아, 한 학생이 결석으로 처리되었습니다. 만든 쪽 · 들여와 운영하는 쪽 · 쓰는 사람에게 각각 무엇을 물어야 할지 한 문장씩 말해 보세요.

왜 「윤리 가이드라인」이 필요할까요?

법이 이미 있는데도 여러 나라와 기업이 따로 윤리 기준을 만들어 발표하는 까닭이 있습니다.

짧게 끝나 버린 대화 프로그램들

사용자와 나눈 대화를 계속 받아 학습하도록 만든 대화 프로그램이 차별과 혐오가 담긴 말을 내놓아 서비스가 짧은 기간에 중단된 일이 여러 차례 있었습니다. 그런데 이런 일에서 문제가 하나였던 적은 없습니다.

모으는 자리 — 학습에 쓴 대화를 모을 때, 그 대화를 나눈 사람들에게 어디에 쓰이는지 충분히 알리고 동의를 받았는가
만드는 자리 — 그대로 배우면 안 되는 말을 걸러 내거나 지켜보는 장치를 두었는가
쓰는 자리 — 일부러 그런 말을 유도하려고 반복해 입력한 사람들이 있었는가

세 자리가 각각 다른 사람의 몫입니다. 그래서 한 사람을 지목하는 것만으로는 같은 일이 다시 일어나는 것을 막지 못합니다.

법이 있는데 왜 기준을 따로 만드나

1. 법은 늦게 온다

법은 대개 이미 벌어진 일을 보고 만들어집니다. 새로운 기술은 그보다 빨리 퍼지기 때문에, 그 사이에는 지킬 것을 정해 둔 규정이 없는 기간이 생깁니다.

2. 법은 아래쪽 선만 정한다

법은 여기까지는 하면 안 된다는 최소한을 정합니다. 윤리 기준은 그 위에서 어떻게 하는 편이 더 나은가까지 말합니다.

3. 서비스는 국경을 넘는다

법은 그 나라 안에서 힘을 갖지만, 프로그램은 어디서 만들어 어디서든 쓰입니다. 그래서 여러 나라가 함께 볼 수 있는 기준이 필요해집니다.

그런데 윤리 기준만으로는 부족하다

윤리 기준에는 대개 어겼을 때 받는 벌이 없습니다. 지키자고 약속한 것이기 때문입니다. 그래서 기준을 발표하는 것만으로 문제가 정리되지는 않습니다. 기준이 실제로 힘을 가지려면 확인하는 절차, 이의를 제기할 통로, 피해를 갚는 규정이 함께 만들어져야 합니다. 기준은 그 방향을 미리 적어 두는 출발점입니다.

스스로 확인

법이 있는데도 윤리 기준을 따로 만드는 까닭 세 가지 중 두 가지를 말해 보세요. 그리고 윤리 기준만으로는 왜 부족한가요?

우리나라 국가 인공지능 윤리 기준

2020년에 발표된 우리나라의 윤리 기준은 어떤 구조로 되어 있을까요?

이 기준은 인공지능을 만들고 쓰는 사람들이 지켜야 할 것을 세 층으로 나누어 적어 두었습니다. 맨 위에 가장 우선하는 가치 하나를 놓고, 그 아래에 큰 원칙 셋을, 다시 그 아래에 실제로 확인할 수 있는 요건 열 가지를 두는 구조입니다.

인간성(Humanity)을 가장 우선한다는 것은, 성능이 좋아지는 것보다 사람이 사람답게 지낼 수 있는 것이 먼저라는 뜻입니다. 이 기준에 자주 나오는 이해관계자라는 말은 그 일과 얽혀 있는 사람과 단체 전부를 가리킵니다. 만든 쪽과 운영하는 쪽, 쓰는 사람뿐 아니라 그 결과의 영향을 받게 되는 사람까지 포함합니다.

10대 핵심 요건이 각각 지키려는 것

요건	무엇을 지키라는 것인가
인권 보장	사람이 원래 가진 권리와 자유가 인공지능 때문에 줄어들지 않게 한다
프라이버시 보호	사생활이 드러나지 않게 하고, 개인 정보를 처음 밝힌 목적 밖으로 쓰지 않는다
다양성 존중	여러 처지의 사람이 고르게 쓸 수 있게 하고, 특정 집단이 불이익을 받지 않게 한다
침해 금지	사람에게 해를 끼칠 목적으로 만들거나 쓰지 않는다
공공성	몇몇의 이익이 아니라 여러 사람에게 두루 도움이 되는 쪽으로 쓰이게 한다
연대성	영향을 받는 여러 집단이 논의에 참여할 자리를 만들고, 다른 나라와도 함께 정해 간다
데이터 관리	무엇을 왜 모았는지 관리하고, 목적 밖으로 쓰지 않으며, 치우침을 줄인다
책임성	문제가 생겼을 때 누가 답할 것인지를 미리 정해 둔다
안전성	예상 밖의 상황에서도 위험이 커지지 않도록 대비하고, 멈출 수 있게 한다
투명성	무엇을 어떻게 쓰는지 미리 알리고, 판단의 근거를 설명할 수 있게 한다

투명성이 왜 따로 들어가 있을까요?
어떤 과정을 거쳐 그런 결론이 나왔는지 알 수 없으면, 문제가 생겨도 무엇을 고쳐야 할지 알아낼 수 없습니다. 판단의 근거를 사람이 읽을 수 있게 보여 주려는 설명 가능한 인공지능(XAI)이 바로 이 요건과 이어집니다. 다만 근거를 보여 준다고 해서 그 근거가 옳다는 뜻은 아니라는 점도 함께 기억해 두세요.

더 알아보기: 아실로마 AI 원칙 (참고 자료)

2017년 생명의 미래 연구소가 연 모임에서 전 세계 인공지능 연구자들이 함께 정리한 원칙 모음입니다. 스물세 가지 항목으로 이루어져 있고, 연구를 어떻게 할 것인가, 어떤 가치를 지킬 것인가, 먼 미래에 대비해 무엇을 살펴야 하는가로 나뉘어 있습니다. 여러 나라의 연구자들이 모여 스스로 기준을 만들려 한 시도라는 점에서 우리나라의 기준과 비교해 볼 만합니다.

스스로 확인

이 기준의 세 층을 위에서부터 순서대로 말해 보세요. 그리고 10대 요건 중 셋을 골라 각각 무엇을 지키라는 것인지 설명해 보세요.

원칙끼리 부딪힐 때

지킬 것이 여럿이라는 말은, 하나를 지키다가 다른 하나를 놓칠 수 있다는 뜻이기도 하다

앞의 열 가지를 외우는 것만으로는 부족합니다. 실제 상황에서는 두 요건이 서로 반대 방향을 가리키는 일이 자주 생기고, 그때가 바로 딜레마(어느 쪽을 골라도 지키던 것 하나를 내려놓게 되는 상황)입니다.

부딪히는 둘	어떤 자리에서 부딪히나
투명성 ↔ 프라이버시 보호	판단의 근거를 자세히 보여 주려면 어떤 자료를 어떻게 썼는지 드러내야 하는데, 그 자료에는 사람들의 개인 정보가 들어 있습니다. 자세히 보여 줄수록 누군가가 특정될 위험이 커집니다.
다양성 존중 ↔ 데이터 관리	집단별로 결과가 고른지 확인하려면 누가 어느 집단에 속하는지를 모아야 합니다. 그런데 그런 정보를 함부로 모으지 않는 것이 개인 정보를 다루는 원칙입니다.
안전성 ↔ 공공성	위험을 줄이려고 확인 절차를 여러 겹 두면, 그것이 정말 필요한 사람에게 늦게 닿거나 아예 닿지 못하게 됩니다. 병을 찾아내는 장치가 대표적입니다.
다양성 존중 ↔ 성능	특정 집단에서 틀리는 비율을 낮추려고 기준을 조정하면, 전체를 놓고 측정한 성능은 조금 떨어지는 경우가 있습니다. 무엇을 더 중요하게 볼지는 사람이 정합니다.

「공정하게」라는 말부터 뜻이 하나가 아니다

부딪힘이 가장 크게 드러나는 낱말이 공정성입니다. 아래 셋은 모두 「공정하다」고 불리지만, 서로 다른 것을 가리킵니다.

① 같은 기준으로

누구에게나 똑같은 잣대를 댄다. 사람마다 다르게 대하지 않는다.

② 다른 처지를 감안해서

출발선이 다른 사람에게는 다르게 대해야 실제로 같은 기회가 된다.

③ 결과가 고르게

집단마다 통과 비율이나 틀리는 비율이 비슷해지도록 맞춘다.

셋을 동시에 만족시킬 수 없는 경우가 있다는 것이 알려져 있습니다. 집단마다 원래 사정이 다르면, ①에 맞추면 ③이 어긋나고 ③에 맞추면 ①이 어긋납니다. 그래서 「공정하게 하면 된다」로 이야기를 닫을 수 없습니다. 무엇을 공정이라고 부를지 먼저 정하고, 왜 그 뜻을 골랐는지 밝히는 것까지가 해야 할 일입니다.

원칙이 여럿인 것은 기준이 허술해서가 아니라 실제로 지켜야 할 것이 여럿이기 때문입니다. 그러니 열 가지 목록은 답이 아니라, 빠뜨린 것이 없는지 확인하는 점검표로 쓰는 것이 맞습니다. 부딪히는 자리를 찾았다면 잘못한 것이 아니라 제대로 본 것입니다.

스스로 확인

「공정하게 하자」는 말이 왜 그것만으로는 부족한가요? 공정성의 세 가지 뜻을 들어 설명해 보세요.

그래서 누가 무엇을 할 수 있나

아래는 「이렇게 하면 해결된다」는 목록이 아닙니다. 각 자리에서 할 수 있는 일과 그렇게 해도 남는 어려움을 함께 적었습니다.

만드는 쪽

차별로 이어질 수 있는 요소가 없는지 데이터와 목표 설정 단계에서 먼저 살핀다
정해진 대로 되지 않는 예외 상황에 어떻게 할지 미리 정해 둔다
무엇을 맞히기로 했고 어디서 잘랐는지를 적어 남겨 밖에서 볼 수 있게 한다
이 프로그램이 못 하는 일과 잘 틀리는 상황을 쓰는 쪽에 함께 알린다

남는 어려움 — 무엇이 차별로 이어질지는 만들 때 다 떠올릴 수 없습니다. 아무도 떠올리지 못한 기준에서 생긴 불이익은 쓰기 시작한 뒤에야 드러납니다. 그래서 만들고 끝나는 일이 아니라 계속 측정하는 일이 됩니다.

들여와 운영하는 쪽

사람이 확인하는 자리를 개인의 성실함이 아니라 절차로 만든다
위험을 알게 되면 쓰는 사람에게 알린다. 알리지 않고 고치는 것으로 끝내지 않는다
결과에 이의를 낼 통로와 되돌리는 방법을 함께 둔다
사용자나 다른 사람의 정보를 처음 밝힌 목적 밖으로 쓰지 않는다

남는 어려움 — 대체로 잘 맞는 프로그램일수록 사람의 확인이 형식이 되기 쉽습니다. 「확인했다」는 기록만 남고 실제로는 그대로 통과시키게 됩니다. 그래서 확인이 정말 이루어지는지를 다시 확인하는 장치가 필요합니다.

쓰는 쪽 — 우리

결과를 그대로 옮기기 전에 무엇을 근거로 나온 것인지 묻는다
내 정보가 어디에 쓰이는지 확인하고, 필요하면 지워 달라고 요구할 수 있다는 것을 안다
남에게 해가 되는 목적으로 쓰지 않는다. 만드는 것이 쉬워졌다고 해도 마찬가지다
내가 쓴 결과가 다른 사람에게 미칠 영향을 함께 생각한다

남는 어려움 — 쓰는 사람에게 주어지는 정보는 대개 적습니다. 어떤 자료로 배웠는지, 어디서 잘랐는지는 밖에서 알기 어렵습니다. 그래서 개인이 조심하는 것만으로는 메울 수 없고, 알려 주도록 정해 두는 제도가 함께 필요합니다.

스스로 확인

한 학생이 「나는 인공지능이 준 답을 꼼꼼히 확인하니까 문제없다」고 말합니다. 쓰는 사람이 아무리 조심해도 확인할 수 없는 것은 무엇이고, 그 빈틈은 누가 메워야 하나요?

직접 해 보기

활동 1 · 쟁점 하나를 세 자리에서 나누어 보기

아래 셋 중 하나를 골라, 만든 쪽 · 운영하는 쪽 · 쓰는 쪽에서 각각 무엇이 문제였고 왜 그렇게 되었는지 적어 봅시다.

사례 1

다시 범죄를 저지를 가능성을 점수로 매기는 시스템이 다시 범죄를 저지르지 않은 사람을 위험하다고 잘못 매기는 일이 특정 집단에서 더 잦았다.

사례 2

자동 주행 기능으로 달리던 차가 앞에 서 있던 큰 차량을 제때 알아보지 못해 부딪히는 사고가 났다.

사례 3

대화 프로그램이 차별과 혐오가 담긴 말을 내놓고 개인 정보까지 드러나 서비스가 중단되었다.

자리	무엇이 문제였나	왜 그렇게 되었나
만든 쪽
운영하는 쪽
쓰는 쪽

다 적었으면, 10대 핵심 요건 가운데 이 사례와 가장 가까운 것을 하나 고르고 왜 그것을 골랐는지를 한 문장으로 덧붙여 봅시다. 짝과 고른 요건이 다르다면, 서로 무엇을 더 무겁게 보았는지 이야기해 보세요. 다르게 골랐다고 틀린 것이 아닙니다.

활동 2 · 청소년을 위한 인공지능 윤리 선언문 만들기

10대 핵심 요건 가운데 가장 중요하다고 생각하는 다섯 가지를 고른 뒤, 그것을 또래가 바로 알아들을 수 있는 우리말 문장으로 바꾸어 선언문을 만들어 봅시다.

문장은 「우리는 ~하겠습니다」 꼴로 씁니다. 요건의 이름을 그대로 옮겨 적지 않습니다.
고른 요건의 이름을 문장 앞에 대괄호로 밝혀 둡니다. 나중에 무엇을 옮긴 것인지 알아볼 수 있어야 합니다.
가능하면 교실에서 실제로 할 수 있는 일로 적습니다. 「관심을 가지겠습니다」보다 「누구의 사진인지 묻고 나서 올리겠습니다」가 낫습니다.

다 만들었으면 짝과 바꾸어 읽고, 고른 다섯 가지가 서로 다른 부분에 표시해 보세요. 무엇을 먼저 지킬지에 대한 생각이 사람마다 다르다는 것, 그리고 그 차이를 말로 설명할 수 있다는 것이 이 활동에서 남길 것입니다.

스스로 확인

내가 고른 다섯 가지 요건을 왜 그 순서로 골랐는지, 한 가지만이라도 까닭을 말로 설명할 수 있나요?

확인 퀴즈

배운 내용을 확인해 봅시다.

Q1. 우리나라 국가 인공지능 윤리 기준에서 가장 우선하는 최고의 가치는 무엇인가요?

Q2. 인공지능이 관련된 사고에서 책임을 물을 때의 설명으로 알맞은 것은 무엇인가요?

Q3. 「판단의 근거를 자세히 공개하라」는 요구가 다른 요건과 부딪히는 까닭은 무엇인가요?

Q4. 「공정하게만 만들면 된다」는 말이 왜 그것만으로는 부족한가요?

남는 한 문장

무엇을 모을지, 무엇을 맞히게 할지, 어디서 자를지, 어디까지 맡길지 — 이 모든 것을 정하는 자리에는 언제나 사람이 있습니다.

그래서 가져갈 것은 답의 목록이 아니라 물음의 목록입니다. 인공지능이 내놓은 결과를 마주할 때마다 이렇게 물어 보세요 — 무엇을 근거로 이렇게 나왔는가, 이 결과의 대가는 누가 치르는가, 이상하다고 느꼈을 때 나는 어디에 말할 수 있는가. 답은 상황마다 달라도, 이 세 물음은 어느 상황에나 가져갈 수 있습니다.