신용카드 거래 데이터로 이상거래 탐지

카드가 도용되면 본인이 알아채기 전에 결제가 끝나 버린다. 거래는 하루에도 수없이 일어나므로 사람이 하나씩 볼 수 없고, 금액 기준 같은 규칙은 그 기준을 아는 쪽이 피해 가면 소용이 없다. 무엇보다 새로운 수법은 규칙이 만들어지기 전까지 그냥 통과한다.

그래서 거래 기록에서 「평소 패턴과 크게 다른 거래」를 스스로 찾아내는 모델을 만들고자 한다. 무엇이 사기인지 미리 알려 주지 않고도 튀는 거래를 골라 사람이 확인하게 하는 것이 목적이다.

• ■ 입력: 거래 한 건의 금액(만원)과 그날의 거래 횟수 — 숫자 두 개
• ■ 출력: 군집 번호와 그 군집 중심까지의 거리

모델은 「이 거래는 사기입니다」라고 말하지 않는다. 말할 수가 없다 — 무엇이 사기인지 배운 적이 없기 때문이다. 모델이 하는 일은 거래를 덩어리로 묶고, 각 거래가 자기 덩어리의 중심에서 얼마나 떨어져 있는지 측정하는 것까지다.

「거리가 이만큼 넘으면 확인 대상」이라고 선을 긋는 것은 사람이다. 선을 어디에 두느냐에 따라 같은 모델이 전혀 다른 결과를 낸다.

① 기계학습 유형: 비지도학습 — 군집 (k-평균)

이 데이터에는 어느 거래가 이상이었는지가 적혀 있다. 그런데도 학습에는 넣지 않기로 했다. 이유는 셋이다.

• 정답에 기대면 이미 아는 수법만 배운다. 실제 상황에서 무서운 것은 처음 보는 수법인데, 그것은 과거 데이터에 정답이 붙어 있을 수 없다.
• 이상거래가 4%뿐이라 분류 모델의 점수를 믿기 어렵다. 이렇게 한쪽으로 쏠린 데이터로 분류를 학습하면 「전부 정상」이라고만 답해도 정확도 96%가 나온다. 숫자는 좋아 보이는데 아무것도 잡지 못한다.
• 내가 알고 싶은 것은 「이 거래가 사기인가」보다 「평소와 얼마나 다른가」다. 그것은 덩어리를 만들고 중심에서의 거리를 측정하는 일이므로 군집이 맞다.

그러면 갖고 있는 정답은 어디에 쓰는가? 학습이 끝난 뒤 결과가 실제와 얼마나 맞았는지 확인하는 데만 쓴다. 학습 단계에서 보여 주지 않았으므로 모델은 정답을 본 적이 없고, 이것은 반칙이 아니라 평가다. 다만 이 확인 결과를 보고 k나 기준선을 계속 고쳐 나가면 정답이 슬며시 학습에 새어 든다. 그때부터는 성능이 과장된다.

② 구현 도구: 오렌지(Orange)

표 형태의 CSV를 그대로 읽어 들이고, k-Means 결과에 중심까지의 거리를 열로 붙여 주는 기능이 있어 「얼마나 튀는가」를 숫자로 꺼낼 수 있다. Preprocess 블록의 Normalize Features로 열의 자를 맞출 수 있는 것도 중요했다. 금액과 횟수는 자릿수가 달라 그대로 두면 금액 하나로만 나뉜다. 티처블머신은 사진·소리를 다루는 도구라 표 데이터에 맞지 않고, 코랩은 같은 일을 할 수 있지만 코드를 직접 써야 해서 이번 목적에는 과하다.

• • 출처: 공개 데이터 플랫폼에 올라온 카드 거래 데이터셋 (누구인지 알 수 없게 처리된 자료, 이용 조건을 확인하고 내려받음)
• • 유형: 수치형 정형 데이터 (CSV, 특성 2개 + 검증용 정답 1개)
• • 수량: 거래 500건 — 실제로는 정상 480건 / 이상 20건 (4%)
• • 학습에 넣은 열: 거래 금액(만원), 그날의 거래 횟수 — 두 개뿐
• • 학습에서 뺀 열: 이상 여부. 파일에는 있지만 k-Means 블록에 연결하지 않았다. 결과를 확인할 때만 다시 붙인다.

금액(만원) | 그날 거래 횟수 | [이상 여부]
───────────┼────────────────┼────────────
    3.2    |       2        |   정상
  148.0    |       8        |   이상
    1.8    |       1        |   정상
   92.5    |       6        |   이상
    5.0    |       2        |   정상
(이하 495건 생략 / 전체 500건)
(대괄호 열은 학습에 넣지 않았다)

실제 수행평가 때는 여기에 데이터셋 내려받기 화면 및 오렌지 열 설정 화면 스크린샷을 붙입니다.

■ 모델이 내놓은 것 (정답을 보지 않고)

• 군집 A (476건): 중심 금액 8.5만원 / 그날 거래 2.6회
• 군집 B (24건): 중심 금액 142만원 / 그날 거래 8회
• 산점도에서 대부분이 왼쪽 아래에 빽빽하게 모이고 오른쪽 위에 몇 건이 떨어져 있다.

여기까지가 모델의 출력이다. 어느 쪽이 이상인지는 아직 모른다. 다만 24건짜리 작은 덩어리가 「평소와 다른 쪽」이라고 보는 것이 자연스럽다.

■ 학습에 쓰지 않은 정답과 비교해 본 결과

• 실제 이상 20건 중 18건을 군집 B가 담았다 — 탐지율 90%
• 정상 480건 중 6건이 군집 B에 잘못 들어갔다 — 헛걸음 1.25%
• 놓친 2건은 금액이 크지 않은 이상거래였다. 평소 패턴과 겹쳐 있으면 이 방법으로는 보이지 않는다.

실제 수행평가 때는 여기에 오렌지 k-Means 결과 및 Scatter Plot 화면 스크린샷을 붙입니다.

■ 테스트 1 — 전형적인 평소 거래 (2.5만원 / 그날 3회)

• 예상: 군집 A
• 실제 출력: 군집 A, 중심까지 거리 0.04 — 아주 가깝다
• 예상대로였다.

■ 테스트 2 — 전형적인 도용 패턴 (150만원 / 그날 9회)

• 예상: 군집 B
• 실제 출력: 군집 B, 중심까지 거리 0.09
• 예상대로였다. 큰 금액과 잦은 횟수가 겹치면 뚜렷하게 나뉜다.

■ 테스트 3 — 큰돈을 한 번 쓴 정상 거래 (가전 구매 175만원 / 그날 1회)

• 예상: 횟수가 1회뿐이니 군집 A에 남기를 기대했다.
• 실제 출력: 군집 B — 군집 B까지 0.61, 군집 A까지 0.84
• 정상 거래가 확인 대상으로 잡혔다. 두 거리가 다 크다는 점도 눈에 띈다.

■ 분석

테스트 3은 모델이 고장 난 것이 아니라 이 방법의 성질이다. k-평균은 「사기인가」를 보는 것이 아니라 「평소와 얼마나 다른가」만 본다. 큰돈을 한 번 쓰는 일은 드물지만 나쁜 일은 아니다. 그런데 드문 것과 나쁜 것을 구별하는 능력이 이 모델에는 없다.

더 눈여겨볼 것은 두 중심까지의 거리가 0.61과 0.84로 둘 다 멀다는 점이다. 어느 덩어리에도 잘 안 맞는다는 뜻인데, 모델은 그래도 가까운 쪽 하나를 골라 답을 낸다. 그래서 군집 번호만 보면 안 되고 거리를 함께 봐야 한다. 거리가 둘 다 멀면 「판단 보류」로 두는 것이 맞다.

반대 방향의 구멍도 있다. 문항 5에서 놓친 2건은 금액이 크지 않은 이상거래였다. 도용하는 쪽이 소액으로 여러 날에 나눠 쓰면 평소 덩어리 안에 묻혀 버린다. 이것은 데이터를 더 모아서 풀리는 문제가 아니다. 모델이 무엇을 보는지 알면 그것을 피해 갈 수 있기 때문이다.

가장 이상하게 느껴진 것은 정답이 있는데 일부러 쓰지 않는다는 점이었다. 처음에는 그게 손해처럼 보였다. 그런데 이상거래가 4%뿐이라 「전부 정상」이라고만 답해도 정확도가 96%가 된다는 걸 계산해 보고 생각이 바뀌었다. 높은 점수가 아무것도 잡지 못한 결과일 수 있다는 게 놀라웠다.

탐지율 90%를 적으면서도 조심스러웠다. 이건 모델이 맞힌 점수가 아니라, 내가 튄다고 본 쪽이 실제와 얼마나 겹쳤는지를 나중에 측정해 본 숫자였다. 그리고 이 결과를 보고 k를 여러 번 바꿔 맞췄다면 그 90%는 가짜가 됐을 것이다. 확인은 한 번만 해야 한다는 것을 배웠다.

테스트 3에서 가전을 산 정상 거래가 걸렸을 때가 인상적이었다. 모델은 「드문 것」을 찾을 뿐 「나쁜 것」을 찾는 게 아니었다. 두 말이 다르다는 걸 그때 처음 또렷하게 알았다.

마지막으로 이 문제에는 상대가 있다는 점이 계속 남았다. 쓰레기나 기온은 모델을 피해 다니지 않는데, 도용하는 쪽은 모델이 무엇을 보는지 알면 그걸 피해 간다. 잘 만들어 놓으면 끝나는 문제가 아니라는 것이 이번 실습에서 가장 크게 남았다.