コンテンツへスキップ

自分のラベルで学習したモデルによるモデル支援ラベリング

自分のアノテーションで学習したモデルの事前ラベルが時間を節約する場面、事前ラベルがアノテーターを引き寄せる仕組み、ホールドアウト群でその影響を測る方法を説明します。

モデル支援ラベリングは、アノテーターがすでに付けたラベルでモデルを学習し、新しい項目に対するモデルの予測を、確認または修正する事前ラベルとして見せることで、アノテーションを速めます。事前ラベルはアノテーターをモデルの答えに引き寄せもするため、事前ラベルを使う研究では、一部のアノテーターをホールドアウトして、答えがどこまで動くかを測るべきです。

v2.14.0の新機能

事前ラベルとは、人が項目にラベルを付ける前に、モデルがその項目に提案した1つのラベルです。モデル支援ラベリングは、事前ラベリングとも呼ばれ、アノテーターがそれらの事前ラベルを受け入れ、編集し、または却下するヒューマン・イン・ザ・ループのワークフローで、受け入れられたラベルと修正されたラベルがデータセットになります。このガイドでは、モデルがプロジェクト自身のアノテーションで学習し、アノテーションが増えるたびに再学習される場合を扱います。プロンプトで動かす汎用モデルからの事前ラベルはLLMと視覚モデルによる事前アノテーションのガイドで、次にどの項目にラベルを付けるかの選び方は能動学習のガイドで扱います。

自分のラベルで学習したモデルとLLMによる事前アノテーションの違い

LLMや事前学習済みの視覚モデルは、プロンプトと少数の例に導かれて、最初の項目から事前ラベルを付けられます。自分のラベルで学習したモデルは何もない状態から始まり、まずラベル付きの項目のシードセットが必要です。Potatoのsklearn-textトレーナーは、学習分割に10件未満の項目しかないと学習を拒否し、Hugging Faceのテキスト、トークン、画像の分類器は、20件未満で拒否します。その代わり、学習したモデルは、アノテーターがあなたの項目に実際に引くラベルの境界を学びます。各実行は、学習から除いた項目でスコアが測られ、そのスコアは、どのアノテーターが事前ラベルを見るよりも前に、Trainingページに出ます。小さな分類器は、項目ごとの費用なしで、自分のマシン上でも動きます。

シードセットが増える間、研究の始めはLLMの提案でまかない、学習したモデルのホールドアウトスコアが、同じラベルに対するLLMの一致度を上回った時点で、学習したモデルに引き継ぐこともできます。能動学習は、項目の順序を選び、事前ラベリングは各項目での作業を変えるので、どちらとも組み合わせられます。

事前ラベルが時間を節約する場面

事前ラベリングが時間を節約するのは、ラベルを読んで確認するほうが、ラベルを自分で作るより速い場合です。2人のアノテーターによる品詞タグ付けの実験で、Fort and Sagot (2010)は、1人のアノテーターが、事前アノテーションなしでは10文あたり約7.5分、タガーの出力を修正するときは約2.5分だったと測定しました。わずか50文で学習したタガーは81.6%の正解率に達し、そのタガーの事前アノテーションが節約した時間は、37,990文で学習した96.4%のタガーが節約した時間と、有意には変わりませんでした。ほかのタガーに比べてアノテーションを有意に遅くしたのは、10文で学習したタガーだけで、そのタガーの正解率は66.5%でした。Lingren et al. (2014)は、臨床の固有表現のアノテーションで、1つの表現あたり13.85%から21.5%の時間の節約を見つけ、一致度もアノテーターの成績も有意には変わりませんでした。Mikulová et al. (2022)は、正確なパーサーによる事前アノテーションが、係り受けのアノテーションを速く、より一貫したものにしたことを見つけました。

プロジェクト自身のラベルで学習したモデルについては、Fort and Sagotの結果から、最初の数十件のラベル付き項目で学習したモデルでも、すでに時間を節約できる可能性が示唆されます。偶然の水準に近いモデルは時間を余分にかけさせるため、最初の事前ラベルは、ホールドアウトスコアが偶然の水準を大きく上回るまで待つべきです。

事前ラベルが害になる場面

事前ラベルは、速度だけでなく答えも変えます。*アンカリング*は、提示された答えが後の判断を引き寄せることで、ゴム印は、提案を読まずに受け入れることで、自動化バイアスの一種です。Fort and Sagotの実験では、より正確なアノテーターの正解率は、81.6%のタガーの事前アノテーションで98.1%から95.8%に下がり、最良のタガーでは、同じアノテーターが、タガー自身の誤りと一致する系統的な誤り（過去分詞に対する形容詞）をしました。主観的なタスクでのLLMの提案に関する事前登録の研究で、Schroeder et al. (2025)は、アノテーターが速くならず、提案を十分な頻度で採用して、ラベルの分布がずれることを見つけました。支援を受けたラベルを評価の基準にすると、LLMの測定された正解率も上がりました。

受け入れられた事前ラベルで再学習すると、フィードバックのループが加わります。アノテーターが変更せずに保存した事前ラベルは、そのアノテーターの答えになり、次の学習の実行は、その答えを、ほかのラベルと同じように学びます。そのため、アノテーターが受け入れた誤りは学習データとして戻り、次のモデルが新しい項目で同じ誤りを繰り返すことがあります。同じ事前ラベルを受け入れたアノテーターは、構造上一致するため、一致度の指標ではこのループを捉えられません。レビューとゴム印の見分け方では、読まずに受け入れるアノテーターを見つけるタイミングの手がかりを説明し、LLMの提案がアノテーターを引き寄せる度合いの測定では、読んだうえで引き寄せられるアノテーター向けのブラインド項目を説明します。

設計上の選択

特定の研究で事前ラベルが役立つかどうかは、4つの設定が決めます。信頼度の下限、事前ラベルが付く項目、ホールドアウトするアノテーターの割合、モデルを再学習する頻度です。

信頼度のしきい値

信頼度の下限を下回る予測は隠され、アノテーターはその項目を最初からラベル付けします。下限を高くすると、事前ラベルは少なくなり、その中で正しいものの割合は大きくなります。下限が意味を持つのは、モデルの信頼度が較正されているときだけです。較正されたモデルは、信頼度0.8の予測が、ホールドアウトした項目で約80%の確率で当たります。Potatoのsklearn-textは、実行に50件以上の学習項目があれば、既定で分類器の信頼度を較正し、1,000件未満ではPlattスケーリング、それ以上では等調回帰を使います。下限は、ホールドアウトした項目から、モデルが十分な頻度で正しく、事前ラベルを確認するほうが項目をラベル付けするより速くなる信頼度として決めてください。

事前ラベルが付く項目

Potatoは、モデル自身の学習項目に事前ラベルを付けません。モデルは、新しいデータについて何も語らない理由で、学習データに対して自信を持つからです。そのルールに加えて、アノテーター間の一致度の測定に使う項目と、正解項目には、事前ラベルを付けないでください。共有の事前ラベルがある項目での一致度は事前ラベルを測っており、事前ラベルが画面に出た状態で答えた正解項目は、アノテーターと同じくらいモデルを測っています。残りの項目では、信頼度の低い順に並べたレビューキューが、アノテーターをモデルの間違いやすい項目に向かわせます。すべての項目を信頼度の低い順に提供するキューは、すべての項目にまだ人手のラベルが必要な研究に合います。

アノテーターをホールドアウトして影響を測る

アンカリングは、事前ラベルありで出された答えと、事前ラベルなしで出された答えを、同じアノテーターが同じ種類の項目で出したものとして比べて測ります。Potatoのai_support.holdoutは、アノテーターと項目の組のランダムな割合から、あらゆる形の支援を外し、学習による事前ラベルも、外される形の1つです。Potatoは項目ごとではなく組ごとに抽選するため、ほとんどの項目に、支援を受けたアノテーターとホールドアウトされたアノテーターの両方が付きます。ソルトつきのハッシュにより、再起動のあとも各組は同じ群に留まります。radio、multiselect、likert、selectのスキームでは、管理者ダッシュボードのAI influenceタブが、2つの群を、答えがモデルと一致する頻度、答えが正解と一致する頻度、各群内の一致度で比べます。このタブは、各群にモデルの答えがある項目での答えが10件になると、モデルとの一致の差を、95%のブートストラップ区間とともに報告します。割合とソルトは、アノテーションを始める前に設定してください。どちらかを研究の途中で変えると、群が組み直されます。AIの影響の測定には、ホールドアウトが外すすべての支援の場面が挙げられています。

再学習の頻度

頻繁に再学習すると、事前ラベルを最新のガイドラインの判断と修正に保てますが、再学習のたびに、アノテーターが見る事前ラベルも入れ替わります。Potatoのauto_retrainは、update_frequency件の新しいアノテーションが届き（既定は25）、前回の実行が終わってからmin_interval_s秒が過ぎる（既定は600）と、実行を開始します。update_frequencyを大きくすると、計算を節約でき、より長い作業の間、事前ラベルが安定します。split_seedは研究の間固定してください。シードを変えると、ホールドアウトした項目が学習に移り、ある実行のホールドアウトスコアが、次の実行のものと比べられなくなります。Potatoは、レビュー担当者が修正したすべての項目も、以降のすべての実行のtrain分割に入れます。修正は次のモデルを教えるために使われ、モデルのスコアを測るために使われることはありません。

Potatoでのモデル支援ラベリング

Potatoのモデル学習は、管理者用のTrainingページから、研究自身のアノテーションでモデルを当てはめ、ホールドアウトした項目でスコアを測り、モデルの予測を事前ラベルとして項目に書き戻します。書き戻しは、アノテーションページにモデルの答えを選択済みの状態で表示します。事前ラベルがアノテーターの答えになるのは、アノテーターが事前ラベルを編集するか、先に進んだときだけです。それまでは、項目は完了と数えられません。次のブロックは、sentimentという名前のradioスキームを持つ設定に、自動の再学習と20%のホールドアウトを備えたモデル支援ラベリングを追加します。

yaml
model_training:
  enabled: true
  auto_retrain:
    enabled: true
    trainer: sklearn-text
    schemas: [sentiment]
    update_frequency: 50
    min_interval_s: 600
  writeback:
    schemas: [sentiment]
    include_unlabeled: true
    min_confidence: 0.8
 
ai_support:
  holdout:
    fraction: 0.2
    salt: reviews-2026

writeback.schemasは、予測をアノテーターに見せるスキームを指定します。このリストは既定で空で、リストにスキームを挙げるまで、アノテーターに予測は見えません。include_unlabeled: trueは、まだ誰もラベルを付けていない項目にも予測を出し、事前ラベルが時間を節約するのは、そうした項目です。この設定がないと、実行は、実行のホールドアウトした項目にだけ予測します。min_confidenceを下回る予測は、保存されますが表示されません。ホールドアウトのブロックは、ai_support.enabledがオフでも動きます。

assignment_strategy: model_reviewは、事前ラベル付きの項目を、レビュー用に信頼度の低い順に提供し、assignment_strategy: llm_confidenceは、すべての項目をその順に提供します。レビュー担当者は、各事前ラベルにaccept、correct、rejectのいずれかの判定を記録します。却下された事前ラベルは項目から外れ、二度と表示されません。DELETE /admin/training/api/runs/<run_id>/predictionsは、ある実行が書いたすべての事前ラベルを取り下げます。ループの中のモデルは、書き戻し、レビューキュー、獲得の順序、auto_retrainを順を追って説明し、上流の書き戻しのリファレンスは、予測がアノテーターの目に触れるまでに通るすべてのチェックを挙げています。

関連資料

参考文献

  1. Fort, K., and Sagot, B. (2010). Influence of Pre-annotation on POS-tagged Corpus Development. Proceedings of the Fourth Linguistic Annotation Workshop, 56-63. https://aclanthology.org/W10-1807/
  2. Lingren, T., Deleger, L., Molnar, K., Zhai, H., Meinzen-Derr, J., Kaiser, M., Stoutenborough, L., Li, Q., and Solti, I. (2014). Evaluating the impact of pre-annotation on annotation speed and potential bias: natural language processing gold standard development for clinical named entity recognition in clinical trial announcements. Journal of the American Medical Informatics Association, 21(3), 406-413. https://doi.org/10.1136/amiajnl-2013-001837
  3. Mikulová, M., Straka, M., Štěpánek, J., Štěpánková, B., and Hajič, J. (2022). Quality and Efficiency of Manual Annotation: Pre-annotation Bias. Proceedings of the Thirteenth Language Resources and Evaluation Conference, 2909-2918. https://aclanthology.org/2022.lrec-1.312/
  4. Schroeder, H., Roy, D., and Kabbara, J. (2025). Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks. Findings of the Association for Computational Linguistics: ACL 2025, 25771-25795. https://doi.org/10.18653/v1/2025.findings-acl.1323