음성 인식과 언어 이해

인공지능 스피커에게 말을 걸면 가장 먼저 일어나는 일은 우리의 목소리(아날로그 소리)를 컴퓨터가 읽을 수 있는 글자(텍스트)로 바꾸는 것입니다. 이를 음성 인식(Speech Recognition)이라고 합니다. 마치 컴퓨터가 「받아쓰기」를 하는 것과 같습니다.

목소리도 글도 순차 데이터(sequential data)입니다. 앞뒤 순서가 바뀌면 뜻이 달라지는 데이터를 가리킵니다. 「나는 밥을 먹었다」와 「밥은 나를 먹었다」는 「나」와 「밥」의 자리만 맞바꾸었는데 뜻이 완전히 달라집니다.

그런데 기본 인공신경망은 입력을 한 번에 통째로 받아 답을 내놓습니다. 말은 길이도 제각각이고, 지금 들리는 소리가 무슨 글자인지는 앞에서 무슨 소리가 났는지에 달려 있습니다. 그래서 나온 구조가 순환 신경망(RNN, Recurrent Neural Network)입니다.

순환 신경망은 데이터를 앞에서부터 한 조각씩 받습니다. 그리고 조각 하나를 처리할 때마다 지금까지 읽은 내용을 요약한 값을 만들어 다음 조각을 처리할 때 함께 넣어 줍니다. 이 요약값이 되돌아 들어오기 때문에 「순환」이라는 이름이 붙었습니다.

오늘날의 음성 인식은 단순히 음성을 알아듣고 텍스트로 바꾸는 것을 넘어, 음성에 포함된 감정을 인식하고 화자의 음성을 학습해 재생성할 수 있는 수준으로 발전하였습니다.

받아쓰기를 완벽하게 했다고 해서 컴퓨터가 그 말의 「뜻」을 안다는 것은 아닙니다. 텍스트로 바뀐 문장을 분석하고 단어들의 관계와 사람의 진짜 의도를 파악하는 과정을 언어 이해(Language Understanding)라고 합니다. 그리고 사람이 쓰는 말과 글을 컴퓨터가 계산으로 다룰 수 있는 형태로 바꾸어 번역·요약·분류 같은 일에 쓰는 기술 분야 전체를 자연어 처리(NLP, Natural Language Processing)라고 부릅니다. 언어 이해는 그 안에 들어 있는 한 갈래입니다.

딥러닝을 쓰기 전의 자연어 처리는 주로 사람이 만든 사전과 문법 규칙, 낱말 수를 세는 단순한 통계에 기대었습니다. 지금은 엄청난 양의 글에서 낱말이 함께 쓰이던 방식을 학습하기 때문에, 문장에 배어 있는 감정이나 관용 표현, 직접 적히지 않은 뜻까지 상당 부분 파악합니다. 그 덕분에 기계 번역과 질의응답의 성능이 크게 올랐습니다. 다만 「상당 부분」이지 전부는 아닙니다. 학습한 글에 드물게 나오던 표현이나 새로 생긴 말에서는 여전히 어긋납니다.

우리가 쓰는 대화형 인공지능의 바탕에는 대규모 언어 모델(LLM, Large Language Model)이 있습니다. 엄청난 양의 글을 학습한 신경망인데, 학습으로 익힌 일은 뜻밖에도 단순합니다. 지금까지의 글 다음에 어떤 낱말이 올 법한지를 확률로 매기는 것입니다. 대화에 알맞게 답하도록 조정하는 학습을 더 거치기도 하지만, 답을 만드는 바탕은 이 일입니다.

그렇게 낱말 하나를 고르면, 고른 낱말을 문장 뒤에 붙이고 다시 그다음 낱말의 확률을 매깁니다. 이것을 반복하면 긴 답변 한 편이 만들어집니다. 그림의 확률은 수업에서 원리를 확인하려고 지어낸 값입니다.

그럴듯한 거짓을 자신 있게 말한다

그래서 언어 모델은 있지도 않은 책 제목, 실제와 다른 연도, 존재하지 않는 법 조항을 아주 매끄러운 문장으로 만들어 내놓곤 합니다. 이런 현상을 환각 (hallucination)이라고 부릅니다.