LLM 주석자 대 사람: 라벨링을 자동화할 때와 하지 말아야 할 때

이제 모든 라벨링 프로젝트에서 이 질문이 나옵니다. 여기에 아직 사람이 필요한가, 아니면 모델이 그냥 하면 되는가. 정당한 질문입니다. LLM 주석자는 빠르고, 지치지 않으며, 크라우드의 몇 분의 일 비용으로 끝납니다. 답은 과제에 따라 다르되 그 방식은 예측할 수 있고, 잘못되는 프로젝트는 대개 한 번도 확인하지 않은 프로젝트입니다.

LLM이 좋은 주석자가 되는 것은 과제가 잘 정의되어 있고, 라벨이 객관적이며, 사람의 골드 표본과 대조해 측정할 수 있을 때입니다. 나쁜 주석자가 되는 것은 라벨이 주관적이거나, 문화적 함의를 담고 있거나, 아직 정답이 존재하지 않을 만큼 새로울 때입니다. 안전한 기본값은 모델이 안정적으로 해내는 것을 자동화하고, 나머지는 표본을 검증하며, 어려운 사례는 사람에게 남기는 것입니다.

성능은 과제 유형에 따라 갈린다

연구 결과는 과제 유형별로 갈립니다. Gilardi, Alizadeh, Kubli(2023)는 ChatGPT가 관련성, 입장, 프레임 검출에서 크라우드 작업자를 앞섰고 일치도는 더 높았으며 비용은 거의 0에 가까웠다고 보고했습니다. 반면 Ziems와 동료들(2024)은 25개 계산사회과학 벤치마크에서 13개 모델을 시험해 그림이 고르지 않다는 것을 보였습니다. 분류 과제에서 LLM은 사람과 보통 수준의 일치도에만 도달하고 미세조정된 모델을 이기는 일이 드문 반면, 자유 서술형 설명에서는 크라우드의 참조 답변보다 읽기 좋은 출력을 내놓는 경우가 많습니다.

그래서 "LLM이 이걸 라벨링할 수 있나"는 실은 두 개의 질문입니다. 이것이 모델이 잘하는 종류의 과제인가. 그리고 내 구체적인 데이터에서 모델이 실제로 사람과 일치하는가. 앞의 것은 과제 유형으로 추론할 수 있습니다. 뒤의 것은 측정해야 합니다.

LLM 주석자가 실패하는 지점

실패는 모여서 나타나므로 미리 예상할 수 있습니다.

• 주관적이고 문화적인 라벨. 유해성, 불쾌함, 유머, 공손함, 도덕적 판단은 누가 읽느냐에 달려 있습니다. 단일 모델은 하나로 눌린 답을 내놓지만, 다양한 주석자 집단이라면 정보가 담긴 방식으로 갈렸을 것이고 그 불일치야말로 종종 원하던 신호입니다.
• 비교에서의 체계적 편향. LLM이 두 응답을 판정할 때 그것은 중립적인 심판이 아닙니다. Zheng과 동료들(2023)은 위치 편향(먼저 보여준 선택지를 선호), 장황함 편향(긴 답변에 후한 점수), 자기 강화 편향(자기 문체의 텍스트를 선호)을 기록했습니다. 이것들은 일관적이므로 잡음을 더하는 대신 데이터셋 전체를 한 방향으로 밀어냅니다.
• 아직 정답이 없음. 완전히 새로운 코딩 스킴을 만드는 중이라면 모델을 대조할 대상이 없고, 자신만만한 오답은 정직한 공백보다 나쁩니다. 새 스킴에는 최소한 골드 집합을 만들기 위해서라도 사람 코더가 먼저 필요합니다.
• 조용한 표류. 모델의 행동은 긴 코퍼스를 지나면서, 그리고 버전이 바뀌면서 달라집니다. 다시 대조할 고정된 골드 표본이 없으면 라벨 분포가 발밑에서 움직이는 것을 알아채지 못합니다.

이 각각은 모델의 출력을 완성된 라벨이 아니라 힘 있는 초안으로 다루라는 근거가 됩니다.

작동하는 형태

쓸 만한 구성은 트리아지입니다. 각 항목을 그 난도에 맞는 통로로 보냅니다.

모델이 잘하는 것은 자동화하고, 표본을 검증하고, 어려운 사례는 사람에게 남긴다

먼저 라벨링된 골드 표본에서 모델을 돌리고 전체가 아니라 라벨별로 일치도를 읽으십시오. 사람과 일치하는 곳에서는 그 항목을 모델이 맡게 하고 일부만 표본 점검합니다. 일치도가 어중간한 곳에서는 모델의 제안을 남기되 사람이 하나하나 확인하게 합니다. 라벨이 주관적이거나 판단의 무게가 큰 곳은 사람 주석자에게 남기고 모델은 기껏해야 힌트로 씁니다. 모델을 어디까지 믿을 수 있는지 배워 가면서 비율은 달라지지만 형태는 그대로입니다.

한 가지 안전장치가 전 구간에 걸쳐 중요합니다. 모델이 결코 손대지 않는, 사람만의 눈가림 조각을 남겨 두는 것입니다. 그것이 당신의 잣대입니다. 그것 없이는 자동화 편향이 자리를 잡아 검증자가 그럴듯한 제안을 형식적으로 승인하게 되고, 측정된 일치도는 올라가는데 실제 품질은 그대로입니다.

비용과 품질

이것을 값싼 모델 대 비싼 사람의 구도로 짜기 쉽지만, 그러면 진짜 거래가 가려집니다. 모델 라벨은 만드는 데 거의 비용이 들지 않고 믿는 데 실제 비용이 듭니다. 검증하려고 만든 골드 집합, 사람의 확인 회차, 표본 점검입니다. 사람 라벨은 앞단 비용이 크고 믿는 비용이 작습니다. 크고 객관적인 과제에서는 검증 비용이 상각되는 시점부터 모델이 총비용에서 이깁니다. 작거나 주관적인 과제에서는 검증에 드는 간접비가 그냥 사람에게 맡기는 것보다 비쌀 수 있습니다. 모델이 더 싸다고 전제하지 말고 당신의 과제에서 계산해 보십시오.

Potato에서 하는 법

Potato는 전부 아니면 전무를 강요하는 대신 혼합 작업 흐름을 굴리도록 만들어졌습니다. AI 지원을 켜서 모델이 사전 주석을 하게 하고, 사람이 검증하게 하십시오.

ai_support:
  enabled: true
  endpoint_type: openai       # or anthropic, gemini, ollama, ...
  ai_config:
    model: gpt-4
    api_key: ${OPENAI_API_KEY}
    temperature: 0.2

모델이 라벨을 제안하고 주석자가 확정하거나 고치며, 저장되는 것은 확인된 라벨입니다. 경로 배정 자체에는 트리아지 스킴을 쓸 수 있습니다. 사람이 모델 제안 사이를 빠르게 지나가며 명백한 것은 남기고 나머지는 더 자세한 주석으로 넘기도록 표시할 수 있습니다.

모델을 사람과 견주어 재려면 일치도용으로 남겨 둔 항목에 미리 채워 넣지 마십시오. 눈가림 조각을 남기고 사람에게 라벨링하게 한 뒤 Cohen's나 Fleiss'의 κ로 비교하십시오. 라벨별로 나오는 그 수치가 과제의 어느 부분이 어느 통로에 속하는지를 결정합니다. 자동화 편향 안전장치는 사전 주석 가이드에서 더 자세히 다룹니다.

더 읽을거리

• AI 주석자를 위한 코드북, 코딩 스킴을 LLM이 실행할 수 있는 것으로 바꾸기.
• LLM과 비전 사전 주석, 모델 제안과 검증의 작동 방식.
• 당신의 LLM 심사자를 믿을 수 있는가, LLM 심사자를 사람 평가에 맞춰 보정하기.
• 주석을 위한 능동 학습, 모델을 가장 많이 가르치는 항목에 사람의 노력을 쓰기.