검색

이긴 분석이 좋은 분석은 아니다 — 결과 편향 이야기

칼럼 칼럼 표지 그림: 이긴 분석이 좋은 분석은 아니다

결과 편향은 분석의 좋고 나쁨을 그 분석이 맞았는지 틀렸는지로만 매기는 습관입니다. 한 경기의 승패에는 분석이 손댈 수 없는 우연이 크게 섞여 있어서, 근거가 탄탄한 분석도 자주 빗나가고 엉성한 분석도 곧잘 맞습니다. 그러니 이긴 분석이 곧 좋은 분석은 아닙니다. 분석은 근거의 질, 확률을 얼마나 정직하게 적었는지, 그리고 여러 경기에 걸친 성적으로 평가해야 합니다.

결과 편향은 분석을 어떻게 비틀어 놓나요?

경기가 끝나면 우리는 이미 답을 압니다. 답을 아는 채로 경기 전 분석을 다시 읽으면, 맞은 근거는 선명해 보이고 틀린 근거는 '그때도 어딘가 이상했다'는 느낌으로 덧칠됩니다. 포커 쪽에서는 이를 '결과로 판단하기(resulting)'라고 부르기도 합니다. 패를 잘 운영하고도 마지막 카드 한 장에 진 사람을 서툰 사람으로 기억하는 오류입니다.

축구로 옮기면 이런 장면입니다. 한 분석이 A팀의 승리 가능성을 60%로 보고, 근거로 최근 10경기 경기당 xG 우위 0.5를 들었습니다(예시 데이터). A팀은 경기 내내 앞서다 추가시간 자책골로 비겼습니다. 다음 날 그 분석에는 'xG를 너무 믿었다'는 평이 붙습니다. 하지만 자책골은 xG 우위라는 근거와 아무 상관이 없는 사건이고, 경기 내용은 오히려 근거대로 흘러갔습니다.

스포츠 분석에서 이 오류는 두 방향으로 일어납니다. 하나는 우연히 맞힌 분석의 근거를 실력으로 착각하는 것이고, 다른 하나는 근거가 좋았던 분석을 빗나갔다는 이유로 버리는 것입니다. 어느 쪽이든 다음 분석이 나빠집니다. 앞의 경우는 운 좋았던 방법을 되풀이하고, 뒤의 경우는 좋은 방법을 내려놓기 때문입니다.

확률 70%가 빗나가면 분석이 틀린 건가요?

그렇지 않습니다. 70%라는 숫자에는 이미 '열 번 중 세 번은 반대 결과'가 들어 있습니다. 70%라고 적은 판단이 한 번도 빗나가지 않는다면, 분석이 뛰어났다기보다 확률을 너무 낮게 적었다는 뜻입니다. 확률 판단은 한 건씩이 아니라 묶음으로 채점해야 합니다.

확률 구간별 실제 발생률 점검 예시 데이터
분석에 적은 확률 해당 경기 수 실제로 일어난 경기 실제 발생률
50~59% 40 22 55%
60~69% 30 19 63%
70~79% 20 15 75%
80% 이상 10 8 80%

이 가상의 기록에서 70~79% 구간은 20경기 가운데 5경기가 빗나갔습니다. 그 5경기만 떼어 보면 실패한 분석 묶음처럼 보이지만, 구간 전체로 보면 적은 확률과 실제 발생률이 거의 일치합니다. '말한 확률만큼 실제로 일어났는가'를 따지는 이 점검을 보정(calibration)이라고 부릅니다. 배당에서 뽑아낸 확률도 배당을 확률로 바꾸는 법으로 구한 뒤 같은 방식으로 점검할 수 있습니다.

한 경기 결과로 분석을 채점하면 무엇이 문제인가요?

과정의 질과 결과의 좋고 나쁨을 두 축으로 놓으면 네 칸이 생깁니다.

과정과 결과로 나눈 네 가지 경우
구분 결과가 좋음 결과가 나쁨
과정이 좋음 근거대로 맞힘 근거는 좋았으나 빗나감
과정이 나쁨 근거 없이 운 좋게 맞힘 근거 없이 빗나감

결과 편향은 이 표를 열 방향으로만 읽게 만듭니다. 왼쪽 열 두 칸을 모두 잘한 분석으로, 오른쪽 열 두 칸을 모두 못한 분석으로 묶는 식입니다. 정작 배워야 할 칸은 '운 좋게 맞힘'과 '좋았으나 빗나감'입니다. 앞의 칸에는 버려야 할 습관이, 뒤의 칸에는 지켜야 할 방법이 들어 있습니다.

문제는 한 경기만 보고서는 지금 어느 칸에 있는지 알 길이 없다는 점입니다. 칸을 가리려면 같은 방법으로 수십 경기를 쌓아야 합니다. 경기 수가 적을 때 숫자가 얼마나 출렁이는지는 표본과 평균 회귀에서 확인할 수 있습니다.

분석의 질은 무엇으로 평가해야 할까요?

적중 여부 대신 쓸 수 있는 간단한 도구가 브라이어 점수(Brier score)입니다. 계산은 세 단계면 끝납니다.

  1. 경기 전에 결과가 일어날 확률을 숫자로 적습니다(예: 홈 승 0.65).
  2. 결과가 나오면 일어났으면 1, 아니면 0으로 두고 '(적은 확률 − 결과)²'를 구합니다.
  3. 여러 경기의 값을 평균합니다. 0에 가까울수록 좋고, 매번 50%라고 적으면 0.25가 나옵니다.

가상의 분석가 갑과 을이 같은 다섯 경기에서 같은 쪽을 골랐고, 둘 다 3경기를 맞혔다고 해 봅시다. 차이는 하나, 갑은 매번 95%라고 적었고 을은 매번 65%라고 적었습니다.

  • 갑: 맞힌 3경기는 (0.95−1)² = 0.0025씩, 빗나간 2경기는 (0.95−0)² = 0.9025씩 → 합 1.8125 → 평균 약 0.36
  • 을: 맞힌 3경기는 (0.65−1)² = 0.1225씩, 빗나간 2경기는 (0.65−0)² = 0.4225씩 → 합 1.2125 → 평균 약 0.24
같은 3적중, 다른 브라이어 점수(낮을수록 좋음)예시 데이터
00.180.360.36점갑(매번 95%)0.25점매번 50%0.24점을(매번 65%)

예시 데이터 — 가상의 다섯 경기 계산

적중 수는 3대3으로 같은데, 갑의 점수는 매번 반반이라고 적은 경우보다도 나쁩니다. 갑은 근거보다 확신을 크게 적었고, 그 과신이 빗나간 두 경기에서 큰 벌점으로 돌아왔습니다. 적중 횟수만 세면 끝내 보이지 않는 차이입니다.

결과가 좋을 때 더 조심해야 하는 이유는 무엇인가요?

빗나간 분석은 대개 스스로를 돌아보게 만듭니다. 오히려 위험한 때는 연달아 맞혔을 때입니다. 결과가 좋으면 근거를 다시 따져 볼 동기가 사라지고, 적는 확률이 슬금슬금 높아집니다. 앞의 계산에서 봤듯 과신은 몇 번의 빗나감만으로 큰 대가를 치릅니다.

연속 적중이 얼마나 쉽게 우연으로 생기는지도 계산해 볼 수 있습니다. 60%짜리 판단을 다섯 번 연달아 맞힐 확률은 0.6⁵, 약 7.8%입니다. 실력이 똑같은 분석가 100명이 이런 판단을 다섯 번씩 내리면, 평균 8명 안팎은 '5연속 적중'이라는 기록을 손에 쥡니다. 그 8명이 자기 방법을 특별하다고 믿기 시작하는 순간이 결과 편향이 가장 비싸지는 때입니다.

이 습관이 돈과 엮이면 문제는 분석 밖으로 번집니다. 몇 번의 적중을 실력이라 믿고 금액을 키우는 모습은 도박 문제의 대표적인 경고 신호로 꼽힙니다. 그런 낌새가 스스로에게 보인다면 책임 이용 가이드의 자가 점검부터 해 보시길 권합니다.

판독은 지난 분석을 어떻게 돌아보나요?

판독 편집부는 경기 전 분석을 쓸 때 세 가지를 남깁니다. 어떤 근거를 썼는지, 확률을 몇 %로 적었는지, 그리고 '이런 일이 생기면 내 판단은 틀린다'는 조건입니다. 경기가 끝나고 경기 리뷰를 쓸 때는 결과보다 이 세 가지를 먼저 대조합니다.

돌아볼 때 던지는 질문도 정해 두었습니다.

  • 경기 전에 알 수 있던 정보만으로 다시 판단해도 같은 확률을 적었을까?
  • 빗나간 이유가 근거의 오류인가, 근거 밖의 우연인가?
  • 같은 방법을 쓴 지난 경기들의 브라이어 점수는 어떤 흐름인가?

방법을 바꾸는 기준도 결과가 아니라 점수입니다. 한두 경기가 빗나갔다고 방법을 고치지 않고, 같은 방법의 점수가 석 달 넘게 나빠지는 쪽으로 움직일 때 처음으로 손볼지 검토합니다. 이 질문은 결과가 좋았을 때도 똑같이 던집니다. 맞힌 분석에서 운의 몫을 찾아내는 일은 틀린 분석을 반성하는 일보다 어렵고, 그래서 더 값집니다. 결과를 단정하지 않는다는 원칙을 포함한 편집 기준은 판독이 숫자를 다루는 원칙 7가지에 함께 적어 두었습니다.

자주 묻는 질문

적중률이 높은 분석가라면 믿어도 되지 않나요?

적중률만으로는 부족합니다. 몇 경기를 기준으로 한 수치인지, 어떤 확률대의 경기를 골랐는지에 따라 같은 적중률도 뜻이 달라집니다. 경기 전 확률을 함께 공개하고 충분한 경기 수가 쌓인 기록이어야 비교할 수 있습니다.

브라이어 점수는 몇 경기쯤 모아야 의미가 생기나요?

정해진 기준은 없지만 열 경기 안팎으로는 운의 몫이 너무 큽니다. 같은 방법으로 적어도 수십 경기를 모은 뒤, 비슷한 기간에 다른 방법으로 낸 점수와 나란히 놓고 보는 편이 좋습니다.

무승부가 있는 종목도 같은 방식으로 채점할 수 있나요?

할 수 있습니다. 승·무·패 각각에 확률을 적고 세 항목의 오차 제곱을 모두 더하면 됩니다. 이때는 점수 범위가 결과가 둘뿐인 종목과 달라지므로, 같은 방식으로 계산한 점수끼리만 비교해야 합니다.

책임 있는 이용: 체육진흥투표권은 만 19세 이상이 1회 10만 원 이내로, 베트맨·공식 판매점에서만 살 수 있습니다(작성 시점 안내). 도박 문제 상담은 한국도박문제예방치유원(1336).