一致度では追認を捉えられない
アノテーターが読まずにモデルの事前ラベルを受け入れると、アノテーター間一致度は上がります。アノテーションから計算されるあらゆる品質指標が改善します。残された信号は所要時間だけです。
現在ある品質指標がことごとく逆向きに反応する失敗の型があります。
モデルがコーパスに事前ラベルを付けます。三人のアノテーターがそれをレビューします。二人は提案を一つずつ読んで誤りを直し、三人目は見もせずにすべて受け入れます。
ここで品質指標を計算してみてください。
- アノテーター間一致度は上がります。三人目がモデルと完全に一致し、他の二人が受け入れた分の大半も同様だからです。
- 正解データに対する精度は、モデルが正しい範囲で上がります。そしてモデルはたいてい正しいのです。
- 裁定の件数は減ります。裁定すべきものが少ないからです。
すべてのダッシュボードが良くなります。何もしなかったアノテーターは、仕事をした二人と見分けがつきません。しかも一致度で見れば最良のアノテーターに見えます。独自の修正を一切持ち込まないからです。
なぜこれが 2026 年固有の問題なのか
偶然一致補正された一致度は、独立した判断のために設計されたものです。この前提があって初めて、偶然のベースラインに意味が生まれます。
事前ラベル付けはその前提を壊します。同じ提案を受け入れた二人のアノテーターは、独立に同じ答えに到達したのではなく、同じ供給元を共有しただけです。係数は依然として計算できますが、その解釈が語る意味はもう持っていません。
事前ラベル付けが時折のモデル支援の提案を指していた頃、これは限られた場面の話でした。ワンクリックの自動ラベル付けは今や業界全体の既定であり、信頼性に関する文献はまだ追いついていません。
違いが現れる唯一の場所
アノテーションの中に追認と丁寧なレビューを見分ける材料はありません。モデルが正しかった場合、両者はバイト単位で同一の出力を生むからです。探すべき内容上の信号は存在しません。
異なるのはプロセスです。
人間がマスクの境界を検分して 300 ミリ秒で判断することはできません。対象が明白なら一度くらいはあるかもしれません。しかし多数の項目にわたる中央値としては、それは熟練の速さではありません。
そこで Potato はプロセスを記録します。図形ごとの所要時間、ストロークの動態、修正回数、ズームの挙動、そして判断をもっとも頻繁に左右する信号である AI 提案の受け入れ遅延、つまり提案が描画されてから受け入れられるまでの時間です。
内容を記録せずにプロセスを記録する
当然出てくる反論は監視ではないかというもので、それはもっともな懸念です。設計上の答えは、イベント記録からアノテーションを再構成できないようにすることです。
一つのイベントが持つのは、タイムスタンプ、動作、ジオメトリの種類、そして整数一つです。座標は決して含みません。これは方針ではなく構造上の性質です。座標を入れられるフィールドが存在せず、テストがそれを検証しています。
テキスト側の対応物も同じ原則に従います。キーストロークログはタイミングと編集の構造を記録し、文字は記録しません。捕捉は keydown ではなく beforeinput で行います。貼り付け、ドロップ、IME、音声入力、オートフィルはいずれも keydown を発生させずにフィールドを変更するため、keydown だけを見るロガーは、まさに捕まえるために存在している場面が見えなくなるからです。現れた文字数と実際に押されたキー数の差が、単一の信号としてはもっとも強いものです。
アノテーターには記録中である旨が表示され、この開示は既定で有効です。ここが研究計器と監視を分ける線です。
あえて作らなかったもの
学習済みの分類器は同梱していません。 追認のラベル付きコーパスは存在せず、当てはめた係数を検証済みとして提示すれば、それはでっち上げの検証になります。検出は、証拠が目に見える少数の透明な規則と、プロジェクトごとのパーセンタイル較正です。
AI が書いたアノテーションを検出できるとも主張しません。データが支えるのは「入力されたのではなく貼り付けられた回答を浮かび上がらせる」までです。「AI 生成テキストを検出する」は支えられておらず、フラグに基づいて誰かが行動するのであれば、この違いは重要です。
数値の読み方
単一項目の閾値ではなく、分布として読んでください。 実務で通用する三つの原則があります。
- 各アノテーターを定数ではなくプロジェクトと比べる。 簡単なコーパスは本当に速いのです。自分のプロジェクト内でのパーセンタイル較正だけが、擁護できるベースラインです。
- 連続に注目する。 500 ミリ秒未満の受け入れが二十回連続していることは、セッション中に散発的に二十回あることよりはるかに強い信号です。
- 提案があったかどうかで分ける。 そのアノテーター自身の描画速度が、受け入れ速度に対する自然な対照群になります。
そして基準率が効いてきます。項目の 80% が本当に自明なコーパスでは、速いことはたいてい正しく、追認を捕まえるよう調整した規則はほとんど有能さを捕まえてしまいます。フラグはそれ自体が結論ではなく、調べるきっかけです。
落ち着かない部分
事前ラベル付きのアノテーション研究を運用していて所要時間を記録していないなら、アノテーターがレビューしているのか受け入れているだけなのかを知る手立てが今のところありません。一致度の統計は教えてくれませんし、その数値は良く見えます。
事前ラベル付けは実際に役立つので、これはそれに反対する議論ではありません。事前ラベル付けが何を変えるのかを測るべきだという議論です。