블라인드 항목으로 LLM 제안이 주석자를 고정하는 정도 측정하기

LLM이 제안한 레이블을 본 주석자는 그 레이블을 다는 경향이 있으므로, 사람과 모델의 일치도는 제안이 화면에 있을 때가 없을 때보다 높습니다. 무작위로 고른 항목 표본에서 제안을 숨기고, 그 블라인드 항목에서 일치도를 측정한 뒤, 모델을 얼마나 믿을지는 전체 일치도가 아니라 블라인드 일치도로 정하세요.

*앵커링(anchoring)*은 먼저 본 숫자나 답이 이후의 판단을 그쪽으로 끌어당기는 경향입니다. 주석에서 앵커는 사전 레이블, 즉 주석자가 수락하거나 고치는 모델의 제안입니다. 앵커링은 주석자가 제안을 읽지도 않고 수락하는 형식적 승인과 다릅니다. 모든 제안을 읽는 신중한 주석자도 앵커링될 수 있습니다. 모호한 항목에서는 제안된 답이 이미 페이지에 있기 때문입니다. 일치도로는 형식적 승인을 잡아낼 수 없다에서 설명하듯 시간 신호는 형식적 승인을 잡아냅니다. 하지만 앵커링된 주석자는 항목에 평소와 같은 시간을 쓸 수 있으므로, 시간으로는 앵커링과 독립적인 판단을 구별할 수 없습니다.

제안이 레이블을 바꾼다는 증거

한 사전 등록 실험(Schroeder 외, 2025)은 크라우드워커 350명에게서 주관적 작업에 대한 주석 7,000개를 4개 조건, 2개 모델, 2개 데이터셋에 걸쳐 수집했습니다. LLM 제안을 보여 줘도 주석자의 속도는 빨라지지 않았지만, 주석자가 스스로 보고한 확신은 높아졌습니다. 주석자들은 제안을 자주 받아들였고, 그 결과 제안을 보지 않은 주석자에 비해 레이블 분포가 유의하게 달라졌습니다. LLM의 도움을 받아 만든 레이블로 LLM을 평가하자, 보고된 LLM의 성능이 유의하게 올라갔습니다.

따라서 모델과, 그 모델의 제안을 본 검토자 사이의 일치도는 일부분 모델과 모델 자신의 일치도입니다. 일치도가 90%를 넘으면 나머지 코퍼스를 모델에 넘기는 것처럼 그 수치에 기대는 결정은 모두 부풀려진 수치를 근거로 내려집니다.

블라인드 항목과 앵커링 격차

주석을 시작하기 전에, 주석자가 제안 없이 레이블을 달 항목을 무작위로 일정 비율 고르세요. 나머지 항목에는 평소처럼 제안이 나타납니다. 둘을 비교하면 세 가지 수치를 얻습니다.

블라인드 일치도: 모델과, 모델의 제안 없이 단 레이블 사이의 일치도로, 모델이 얼마나 자주 맞는지 추정합니다.
제안 표시 일치도: 모델과, 모델의 제안이 화면에 있는 상태에서 단 레이블 사이의 일치도입니다.
앵커링 격차: 제안 표시 일치도에서 블라인드 일치도를 뺀 값으로, 제안이 사람을 얼마나 움직이는지 추정합니다.

블라인드 항목은 무작위로 골라야 하고 연구 기간 동안 고정해야 합니다. 가장 어려운 항목을 고르거나 주석자가 언제 볼지 정하게 하면 블라인드 표본이 대표성을 잃고, 그러면 블라인드 일치도는 나머지 코퍼스에 대해 아무것도 추정해 주지 않습니다. 또한 주석자가 그 항목의 제안을 한 번도 보지 않은 경우에만 블라인드 레이블로 세므로, 불일치 뒤에 다시 단 레이블은 제안 표시 레이블에 속합니다.

블라인드 비율은 속도와 증거 사이의 절충입니다. 블라인드 항목은 모두 제안이 아껴 주는 시간 없이 레이블이 달리며, 블라인드 항목이 너무 적으면 블라인드 일치도가 잡음에 흔들립니다. Potato의 기본값은 비율 20%에 블라인드 항목 최소 20개입니다. 이 비율에서 항목 20개짜리 연구는 블라인드 항목을 약 4개만 만들어 내므로, 최솟값은 코퍼스가 낼 수 있는 수준으로 정하세요.

솔로 모드의 블라인드 제안

솔로 모드는 전문가 한 명이 LLM과 함께 작업하는 Potato의 설정입니다. LLM이 코퍼스에 레이블을 달고, 전문가가 그 옆에서 레이블을 달며, 전문가와 LLM의 일치도가 end_human_annotation_agreement를 넘으면 솔로 모드는 남은 항목을 LLM에 넘깁니다. Potato 2.11 이전에는 그 일치도를 제안이 보이는 상태에서 단 레이블로 측정했습니다. 2.11부터는 solo_mode.suggestions로 제안이 나타나는 시점을 제어합니다.

yaml

solo_mode:
  suggestions:
    display: blind_sample      # before_label | after_label | blind_sample
    blind_rate: 0.2
    minimum_blind_sample: 20

blind_sample은 고정된 20%의 항목에서 제안을 숨깁니다. 이 항목들은 연구마다 한 번 정해지므로 다시 불러오거나 재시작해도 같은 항목이 블라인드로 남습니다. after_label은 제안을 절대 먼저 보여 주지 않으며, 전문가와 LLM의 의견이 다르면 해소 페이지에 LLM의 레이블과 그 근거를 보여 줍니다. 블라인드 비교가 20개가 되면, 인계 판단에서는 전체 일치도 대신 블라인드 일치도를 임계값과 비교합니다.

대시보드의 Blind Agreement 카드는 블라인드 일치도와 제안 표시 일치도를 나란히 보여 주고, 둘 사이의 격차와 전문가가 Accept 버튼으로 제안을 받아들인 빈도도 보여 줍니다. 격차는 양쪽에 비교가 각각 5개 이상 있을 때 보고됩니다. 격차가 크고 양수라면 전문가가 LLM의 답을 볼 수 있을 때 LLM과 더 자주 일치한다는 뜻입니다. 그럴 때는 블라인드 항목을 늘리거나 after_label로 바꾸세요.

레이블링 엔진의 블라인드 보정

역시 2.11에 새로 들어온 Potato의 레이블링 엔진은 증거로 쓰는 모든 레이블에 같은 규칙을 적용합니다. 보정, 인증, 감사 요청은 포함 확률을 기록한 채 무작위로 뽑히며, 사람이 요청을 맡고 있는 동안 서버는 그 항목에 대한 기계의 답을 모두 보류합니다. 사전 주석, 인라인 판정자, AI 어시스턴트가 모두 꺼지고, 그 사람이 저장한 뒤에도 항목은 그 사람에게 블라인드로 남습니다. 엔진은 이런 블라인드 레이블을 기준으로만 기계 레이블을 인증합니다.

검증 요청은 반대 경우입니다. 검증 요청은 기계의 답을 보여 주고, 그대로 둘지 바꿀지 묻고, 미리 채운 답을 기록하므로 사람들이 그 답을 얼마나 자주 받아들이는지 측정할 수 있습니다. 검증 답은 구조상 앵커링되어 있으므로 엔진은 이를 인증에 절대 쓰지 않습니다. humans.verify_visibility: blind로 설정하면 검증 요청도 답 없이 제공되지만, 제안이 아껴 주는 시간은 그만큼 잃습니다.

블라인드 표본의 한계

블라인드 표본은 도움 없이 작업하는 사람들을 기준으로 모델을 측정하며, 이 기준은 도움 없이 작업하는 사람들이 그 작업에서 믿을 만할 때만 적절합니다. 신중한 주석자들끼리도 의견이 갈리는 주관적 작업에서는 블라인드 일치도의 상한이 100%보다 낮고, 모델이 그 상한에 이미 도달해 있을 수 있습니다. 블라인드 일치도가 낮다고 모델이 약하다고 읽기 전에, LLM 판정자 일치도에서 설명하듯 모델과 사람의 일치도를 사람들끼리의 일치도와 비교하세요.

또한 블라인드 표본은 제안을 보여 준 상태에서 단 레이블을 그대로 둡니다. 그 레이블들은 앵커링된 채 남으며, 주로 그런 레이블로 만든 데이터셋은 모델의 선호를 물려받습니다. 데이터셋과 함께 블라인드 일치도와 앵커링 격차를 보고하고, 첫 항목에 레이블이 달리기 전에 display: blind_sample을 설정하세요. 제안이 보이는 상태에서 레이블이 달린 항목은 나중에 블라인드로 만들 수 없습니다.

더 읽어보기

읽지 않고 수락하는 주석자를 잡아내는 시간 신호를 다루는 일치도로는 형식적 승인을 잡아낼 수 없다
검토된 사전 레이블의 자동화 편향을 다루는 LLM 사전 주석
블라인드 표본을 기준으로 기계 레이블을 인증하는 방법을 다루는 블라인드 사람 표본으로 LLM 레이블 인증하기

참고 문헌

Schroeder, H., Roy, D., and Kabbara, J. (2025). Just put a human in the loop? Investigating LLM-assisted annotation for subjective tasks. Findings of ACL 2025. https://doi.org/10.18653/v1/2025.findings-acl.1323