Skip to content

주석자 간 일치도 설명

주석자 간 일치도에 대한 실용 가이드입니다. 단순 일치율, Cohen 카파와 Fleiss 카파, Krippendorff 알파, 각 지표를 언제 사용해야 하는지, 그리고 Potato가 이를 어떻게 보고하는지 설명합니다.

주석자 간 일치도(IAA)는 독립적인 주석자들이 같은 레이블을 부여하는 빈도를 측정합니다. 주석 작업이 잘 정의되어 있고 그 결과로 얻은 레이블을 신뢰할 수 있다는 것을 보여주는 표준적인 근거입니다. 일치도가 낮다는 것은 보통 주석자가 부주의하다는 뜻이 아니라 가이드라인이 명확하지 않다는 뜻입니다.

이 주제의 일반적인 명칭은 평가자 간 신뢰도입니다. Potato는 관리자 대시보드에서 일치도를 실시간으로 계산합니다. 품질 관리를 참고하십시오.

단순 일치율만으로는 부족한 이유

가장 단순한 지표는 단순 일치율로, 주석자들이 동일하게 레이블을 부여한 항목의 비율입니다. 문제는 일치의 일부가 우연히 발생한다는 점입니다. 두 주석자가 모두 90%의 비율로 "긍정"을 선택한다면, 무작위로 레이블을 붙이더라도 대부분의 경우에 일치하게 됩니다. 우연 보정 지표는 이 문제를 해결합니다.

우연을 보정한 계수는 다음과 같은 형태를 가집니다.

text
        P_observed − P_expected
  κ =  ─────────────────────────
            1 − P_expected

여기서 P_observed는 실제 일치율이고 P_expected는 우연에 의해 기대되는 일치율입니다. 값이 1이면 완전 일치, 0이면 우연 수준입니다.

실제로 사용하게 될 세 가지

  • Cohen 카파: 주석자 2명, 범주형 레이블. 한 쌍을 다룰 때의 고전적인 선택지입니다.
  • Fleiss 카파: 주석자 3명 이상, 범주형 레이블이며 항목마다 서로 다른 평가자가 판정할 수 있는 경우.
  • Krippendorff 알파: 가장 범용적인 선택지입니다. 주석자 수에 관계없이 동작하고, 결측 데이터를 처리하며, 명목·순서·구간·비율 척도를 모두 지원합니다. Potato가 기본으로 보고하는 지표입니다.

단순한 범주형 쌍에는 카파를 사용하고, 주석자가 많거나 겹침이 불완전하거나 순서가 있는/연속적인 레이블("하나 차이"가 "넷 차이"보다 가볍게 다루어져야 하는 경우)일 때는 Krippendorff 알파를 사용하십시오.

어노테이터가 세 명이면 Fleiss의 카파와 Krippendorff의 알파 중 무엇을 쓸까?

세 사람 모두 모든 항목에 라벨을 붙였고 라벨이 순서 없는 범주라면, 두 계수 모두 타당합니다. 라벨이 빠진 항목이 하나라도 있거나 라벨에 순서가 있다면 Krippendorff의 알파를 쓰세요.

두 계수는 전제가 다릅니다.

  • 빠진 라벨. Fleiss의 카파는 모든 항목의 평정 수가 같다고 가정합니다. 세 어노테이터 중 한 명이 어떤 항목을 건너뛰었다면 그 항목을 빼야 합니다. Krippendorff의 알파는 있는 평정을 모두 사용합니다.
  • 측정 수준. Fleiss의 카파는 라벨을 순서 없는 것으로 다루므로, 1–5 척도에서 4 대 5를 1 대 5와 같은 불일치로 셉니다. Krippendorff의 알파는 거리 척도(명목, 서열, 등간, 비율)를 받아 가까운 차이를 더 작은 불일치로 계산합니다.
  • 작은 표본. Krippendorff의 알파에는 작은 표본에 대한 보정이 들어 있어서, 수십 개 항목 정도의 파일럿에서는 데이터가 두 계수 모두에 맞더라도 값이 벌어질 수 있습니다.

결측 없는 명목 데이터이고 항목 수가 충분하면 두 값은 보통 비슷합니다. 해당 분야에서 관례로 쓰는 쪽을 보고하고, 논문에는 계수와 척도를 밝혀 두세요. "일치도는 0.72였다"는 어느 쪽을 썼느냐에 따라 뜻이 달라집니다.

Potato는 처음부터 하나를 고르게 하지 않고 여러 계수를 한꺼번에 보고합니다. 범주형 스킴에는 단순 일치율, Cohen의 카파, Fleiss의 카파, 명목 알파가 나란히 표시되고, 순서형 스킴에는 선형 가중 카파, 이차 가중 카파, Spearman의 로, 서열 알파가 표시됩니다. 2.9 버전 이전에는 단어 라벨이 붙은 리커트 척도의 서열 알파가 단어 라벨을 알파벳순으로 정렬해서, 사실상 명목 알파가 되었습니다. 이전 버전에서 단어 라벨 척도의 서열 일치도를 보고했다면 다시 계산하세요. 2.10.1 버전까지의 서열 알파는 불일치를 순위 간 단순 차이로 가중했는데, 이는 Krippendorff의 서열 거리 척도가 아닙니다. 2.10.2부터는 계산기의 서열 알파와 일치하므로, 이전 버전으로 보고한 서열 알파는 다시 계산하세요. 브라우저에서 일치도 계산기로 라벨 표를 확인할 수도 있습니다. 이 계산기는 명목·서열·등간 알파와 Cohen의 카파, Fleiss의 카파를 계산합니다.

수치 해석

보편적인 기준선은 없지만, 알파/카파에 흔히 쓰이는 대략적인 기준은 다음과 같습니다.

  • 0.80 이상: 그대로 신뢰해도 좋은 수준.
  • 0.67–0.80: 잠정적인 결론에는 사용할 수 있으나, 불일치를 조사할 것.
  • 0.67 미만: 레이블을 신뢰하기 전에 가이드라인을 다시 검토할 것.

이 값들은 합격/불합격을 가르는 기준이 아니라 조사를 유도하는 신호로 다루십시오. 어떤 항목과 어떤 레이블이 불일치를 일으키는지 항상 확인합니다.

Potato에서 측정하기

주석자들이 공유 부분집합에서 겹치도록 한 다음, 일치도 보고를 활성화하십시오.

yaml
agreement_metrics:
  enabled: true
  # Krippendorff's alpha is reported in the admin dashboard.

스팬(span) 작업과 구조화된 작업에서는 관심 있는 수준에서 일치도를 측정하십시오. 문서 수준 지표는 경계의 불일치를 가려버리기 때문입니다. Potato는 스팬 스킴에 대해 토큰 수준 카파, 완전 일치와 부분 일치 스팬 F1, 문자 단위 라벨에 대한 Krippendorff의 알파, Mathet의 감마의 간소화된 형태를 보고하므로, 라벨에 대한 불일치와 스팬이 어디서 시작하는지에 대한 불일치를 분리할 수 있습니다.

일치도가 낮을 때

  1. 불일치한 항목을 읽어 보십시오. 가이드라인이 모호한 것입니까, 아니면 항목 자체가 정말 어려운 것입니까?
  2. 정의를 더 엄밀하게 다듬고, 어려운 사례를 예시로 추가하십시오. 주석 가이드라인 작성하기를 참고하십시오.
  3. 다시 파일럿을 진행하십시오. 본질적으로 주관적인 작업에서 일치도가 계속 낮다면, 하나의 정답을 강요하기보다 불일치 자체를 기록하는 방안을 고려하십시오.

자주 묻는 질문

아래 질문은 Krippendorff의 알파가 가질 수 있는 값의 범위, 계산 방법, 주석자가 두 명뿐일 때의 일치도를 다룹니다.

Krippendorff의 알파가 -1보다 작아질 수 있나요?

아니요. 알파는 주석자들이 우연으로 예상되는 것보다 더 많이 불일치할 때 0 아래로 내려가며, -1에 가까워지지만 -1에 도달하지는 않습니다. 두 주석자가 N개 항목 모두에서 불일치하고 두 레이블을 같은 빈도로 사용했다면 알파는 정확히 -1 + 1/N이 되며, 항목이 5개면 -0.8, 20개면 -0.95입니다. Krippendorff (2011)는 신뢰도에서 의미 있는 범위를 0에서 1로 제시하고, 0 미만의 값은 체계적인 불일치나 표본 추출 오차 때문이라고 봅니다. 뚜렷하게 음수인 알파는 주석자들이 척도를 서로 반대 방향으로 읽는 경우처럼 체계적인 불일치를 가리키므로, 수치를 보고하기보다 가이드라인을 다시 살펴봐야 합니다.

Krippendorff의 알파는 어떻게 계산하나요?

알파는 1에서, 관찰된 불일치를 우연에 의해 기대되는 불일치로 나눈 비율을 뺀 값입니다. 관찰된 불일치는 같은 항목에 부여된 레이블 쌍에서 구하고, 기대 불일치는 연구 전체의 모든 레이블에서 뽑은 쌍에서 구하며, 이때 거리 척도(명목, 서열, 등간, 비율)가 각 불일치를 얼마나 크게 셀지 결정합니다. Potato는 min_overlap명의 주석자가 같은 항목에 레이블을 부여하면 관리자 대시보드에서 주석 스킴별로 알파를 계산하고, 일치도 계산기는 레이블 표를 받아 브라우저에서 명목·서열·등간 알파를 계산합니다.

주석자가 두 명뿐이어도 주석자 간 일치도를 계산할 수 있나요?

네. Cohen의 카파는 범주형 레이블을 다루는 정확히 두 명의 주석자를 위해 설계되었고, Krippendorff의 알파는 두 명일 때도 그 이상일 때도 사용할 수 있습니다. 두 계수 모두 두 주석자가 같은 항목에 독립적으로 레이블을 부여했어야 하며, 항목 수가 적으면 추정치가 불안정하므로 계수와 함께 항목 수도 보고하세요.

더 읽어보기