글에서 낱말 세기

도서관 대출 기록처럼 이미 표로 되어 있는 데이터는 묶어 세면 됩니다. 이번에는 글입니다. 글은 표가 아니므로 groupby를 쓸 수도, 평균을 낼 수도 없습니다. 먼저 숫자로 바꾸어야 합니다.

쓸 파일은 3-1-5.감상문.txt입니다. 여덟 편의 짧은 감상문이 들어 있고, 수업용으로 지어낸 글입니다. 사람 이름은 「학생 A」처럼 적어 두었습니다.

맨 오른쪽에 이르면 「낱말」과 「횟수」 두 칸짜리 표가 됩니다. 그러면 표로 된 데이터를 다루는 방법을 그대로 쓸 수 있습니다. 비정형을 정형으로 옮기는 일이 바로 이것입니다.

먼저 파일을 읽고 얼마나 되는 글인지 확인합니다. 표에서 줄 수를 먼저 본 것과 같습니다.

글 = FILE.read_text(encoding="utf-8")
print("글자 수:", len(글))
print("줄 수:", len(글.strip().split("\n")))

띄어쓰기와 줄바꿈까지 세어 1,037글자입니다. 이제 이것을 낱말로 자릅니다. 가장 단순한 방법은 띄어쓰기에서 자르는 것입니다.

글 = re.sub(r"[^가-힣\s]", " ", 글)     # 한글과 띄어쓰기만 남긴다
낱말들 = 글.split()
print("자른 낱말 수:", len(낱말들))
print("서로 다른 낱말 수:", len(set(낱말들)))

결과는 자른 낱말 252개, 서로 다른 낱말 213가지입니다. 여기서 벌써 이상한 점이 보입니다.

조사를 떼어 내야 같은 말이 같은 말로 세어집니다. 뒤에 자주 붙는 조사를 목록으로 적어 두고, 낱말 끝이 그 목록에 있으면 잘라 내는 방법을 쓰겠습니다.

def 조사_떼기(낱말):
    """낱말 뒤에 붙은 조사를 하나만 떼어 낸다.

    긴 조사부터 살펴야 한다. 「에서」를 먼저 보지 않으면
    「바다에서」가 「바다에」로만 줄어든다.
    """
    for 꼬리 in JOSA:
        if len(낱말) > len(꼬리) + 1 and 낱말.endswith(꼬리):
            return 낱말[: -len(꼬리)]
    return 낱말


낱말들 = [조사_떼기(w) for w in 낱말들]
낱말들 = [w for w in 낱말들 if len(w) >= 2 and w not in STOPWORDS]
print("걸러 낸 뒤 낱말 수:", len(낱말들))

조건에 len(낱말) > len(꼬리) + 1이 붙어 있는 것도 눈여겨보세요. 떼고 나서 한 글자만 남는 경우를 막는 것입니다. 「내가」에서 「가」를 떼면 「내」 한 글자만 남아 무슨 말인지 알 수 없게 됩니다.

그리고 거르는 일도 함께 합니다. 두 글자가 안 되는 것과, 뜻을 크게 담지 않는 말을 뺍니다. 「이」 · 「그」 · 「것」 같은 말은 어느 글에나 많이 나와서 세어 봐야 알 수 있는 것이 없습니다.

이제 세어 봅니다. Counter는 같은 것이 몇 번 나왔는지를 한 번에 세어 주는 도구이고, most_common(10)은 많이 나온 것부터 열 개를 돌려줍니다.

센것 = Counter(낱말들)
for 낱말, 횟수 in 센것.most_common(10):
    print(f"{낱말:>6}  {횟수}회  {'█' * 횟수}")

'█' * 횟수가 재미있습니다. 글자를 횟수만큼 이어 붙여 막대그래프처럼 보이게 한 것입니다. 그림을 그리는 도구 없이도 모양을 눈으로 볼 수 있습니다.

그래서 낱말 세기는 끝이 아니라 시작입니다. 자주 나온 말을 찾아 그 말이 나온 문장들을 직접 읽어 보는 것이 다음 걸음입니다. 기계가 어디를 읽어야 할지 좁혀 준 셈입니다.