コンテンツへスキップ
ガイド7分で読めます

タイミング記録で事前ラベルの追認を検出する

アノテーターがモデルの事前ラベルを読まずに受け入れると、一致度は上がり、調停は減ります。タイミング記録は、レビューと追認を区別します。

Potato Team

アノテーターがモデルの事前ラベルを読まずに受け入れると、アノテーター間一致度は上がります。そのため、一致度では、追認するアノテーターと注意深いアノテーターを見分けられません。違いが現れるのは作業の進め方だけで、両者を分ける信号はタイミングです。

ここでの追認(ラバースタンプ)とは、モデルの事前ラベルを読まずに受け入れることです。モデルがコーパスに事前ラベルを付け、三人のアノテーターがそれをレビューする場合を考えます。うち二人は提案を一つずつ読んで誤りを直し、三人目は見もせずにすべてを受け入れます。

この調査について、通常の品質指標を計算してみます。

  • アノテーター間一致度は上がります。三人目のアノテーターはモデルと完全に一致し、ほかの二人が受け入れた大半の部分も同様だからです。
  • ゴールドスタンダードの正解率は、モデルが正しい箇所で上がります。それはほとんどの場合です。
  • 調停の件数は下がります。調停すべきものが減るからです。

どのダッシュボードも改善します。一致度の面では、作業をしなかったアノテーターは、作業した二人と区別がつかず、独自の修正を持ち込むことがないため、最良のアノテーターに見えます。ゴールドアイテムが追認者を捕まえられるのは、モデルが誤っている箇所だけで、ほとんどのアイテムではモデルは正しいのです。

事前ラベル付けのもとでの偶然補正済み一致度

偶然補正済みの一致度は独立した判断を想定して設計されており、その前提があるからこそ、偶然ベースラインに意味が生まれます。事前ラベル付けはこの前提を壊します。同じ提案を受け入れた二人のアノテーターは、独立に同じ答えに至ったのではなく、一つの情報源を共有していました。係数は依然として計算できますが、その解釈が述べる意味はもう持ちません。

モデルによる事前ラベル付けは、現在のアノテーションプラットフォームの標準的な機能であり、Label Studio の事前アノテーション、CVAT の自動アノテーション、V7 の Auto-Annotate などが含まれます。これを有効にしている場所では、モデルが先にラベルを付けたすべてのアイテムで独立性の前提が崩れ、係数はモデルとの一致を人間どうしの一致として数えてしまいます。

追認された事前ラベルのタイミング信号

アノテーションの中身には、追認と注意深いレビューを区別するものがありません。モデルが正しかった場合、両者はバイト単位で同一の出力を生むからです。見つけられる内容上の信号はなく、違いはプロセスにだけ現れます。人はマスクの境界を確認して 300 ミリ秒で判断することはできません。明白なオブジェクトで一度だけなら可能かもしれませんが、多数のアイテムにわたる中央値として 300 ミリ秒の判断は、熟練による速さではありません。

そのため Potato は、図形ごとの所要時間、ストロークの動き、修正の回数、ズームの挙動、そしてAI 提案の受け入れレイテンシを記録します。受け入れレイテンシとは、提案が表示されてから受け入れられるまでの時間です。判断を最も変えやすい信号が、この受け入れレイテンシです。

内容を記録せずにプロセスを記録する

アノテーターの作業の進め方を記録することには、監視ではないかという、もっともな異論があります。Potato はこれに設計で答えています。イベント記録から、アノテーションを再構成することはできません。イベントが持つのは、タイムスタンプ、アクション、ジオメトリの種類、整数一つだけで、座標は含みません。この不在は方針ではなく構造上の性質です。座標を入れるフィールドがなく、テストでもそれを検証しています。アノテーターには記録の通知も表示され、開示の既定はオンです。これが、研究用の測定器と監視との線引きです。

キーストロークのログ記録は、同じ原則をテキストに適用します。タイミングと編集の構造を記録し、文字は記録しません。keydown ではなく beforeinput で取得します。ペースト、ドロップ、IME、音声入力、オートフィルは、keydown を発火せずにフィールドを変更するからです。そのため keydown だけのロガーは、検出するために存在するまさにそのケースを見逃します。現れた文字数と実際に押されたキーの数との差は、単独で最も強い信号です。

検出ルールと、それが裏付ける主張

学習済みの分類器は同梱されていません。 追認についてラベル付けされたコーパスは存在せず、検証済みとして提示された当てはめ係数は、捏造された検証になります。検出は代わりに、証拠が見える少数の透明なルールと、プロジェクトごとのパーセンタイル較正で行います。

また、AI が書いたアノテーションを検出できるとも主張しません。データが裏付けるのは「ペーストされた回答を、入力された回答と区別して示す」ことであり、「AI 生成テキストを検出する」ことではありません。この違いは、フラグをもとに誰かが行動する場合に重要です。

タイミング信号を分布として読む

タイミングは、一つのアイテムに対する閾値としてではなく、アイテム全体にわたる分布として読んでください。次の三つのルールが有効です。

  1. 各アノテーターを、定数ではなくプロジェクトと比較する。 易しいコーパスは本当に速く進みます。自分のプロジェクト内でのパーセンタイル較正が、唯一擁護できるベースラインです。
  2. 連続を探す。 500 ミリ秒未満の受け入れが 20 回連続するのは、セッション全体に散らばって 20 回あるよりはるかに強い信号です。
  3. 提案があったかどうかで分ける。 アノテーター自身の描画速度は、その受け入れ速度に対する自然な対照です。

基準率も重要です。アイテムの 80% が本当に簡単なコーパスでは、速いのは通常正しく、追認を捕まえるように調整したルールは、たいてい有能さを捕まえます。フラグは、それ自体が発見なのではなく、見に行くためのきっかけです。

タイミング記録のない事前ラベル付き調査

事前ラベル付きのアノテーション調査を行っていて、タイミングを記録していないなら、アノテーターがレビューしているのか受け入れているのかを、現在は知る手段がありません。一致度の統計量は教えてくれず、むしろ良く見えます。事前ラベル付けは確かに役に立つので、対応は使うのをやめることではなく、それが何を変えるかを測ることです。何を記録し、Potato でどう設定するかは、レビューと追認の見分け方で解説しています。

さらに読む