事前ラベル付きデータでレビューと追認を見分ける方法

事前ラベル付けはアノテーターを速くし、追認を摩擦ゼロにします。そしてアノテーション自体から計算されるどの指標も、この二つを区別できません。 ジオメトリは同一であり、アノテーター間一致度はむしろ上がります。全員が同じモデル出力を受け入れれば、構造上それは全員一致だからです。

違いが現れる唯一の場所が所要時間です。

なぜ品質指標はここで役に立たないのか

モデルがすべての画像に事前ラベルを付け、三人のアノテーターがほぼすべてを受け入れたとします。

• 一致度は上がります。全員がモデルの出力を記録しているからです。
• 正解データに対する精度も、モデルが正しい範囲では上がります。そして多くの場合モデルは正しいのです。
• 裁定の件数は減ります。裁定すべきものがないからです。

すべてのダッシュボードが良く見えます。しかしそのデータセットは、モデルが自分自身に同意した記録になっており、その誤りはランダムではなく系統的です。これは最悪の種類の誤りです。アノテーター間で平均しても消えないからです。

これは 2026 年のワークフローにおいて仮定の話ではありません。ワンクリックの自動ラベル付けは業界全体で既定になりつつあり、信頼性に関する文献にはこれを測る指標がありません。偶然一致補正された一致度は独立した判断のために設計されたものであり、これらは独立していないからです。

何を記録するか

個々の受け入れの粒度での所要時間です。

これらのいずれにも座標は必要なく、収集すべきでもありません。アノテーションを再構成できないプロセス記録は倫理審査に説明しやすく、しかも問いには同じだけよく答えてくれます。

数値の読み方

人間がマスクの境界を検分して 300 ミリ秒で判断することはできません。対象が明白なら一度くらいはあるかもしれません。しかし多数の項目にわたる中央値としては、それは熟練の速さではありません。

単一項目の閾値ではなく、分布として読んでください。実務で通用する三つの原則があります。

1. 各アノテーターを定数ではなくプロジェクトと比べる。 簡単なコーパスは本当に速いのです。自分のプロジェクト内でのパーセンタイル較正だけが、擁護できるベースラインです。
2. 連続に注目する。 500 ミリ秒未満の受け入れが二十回連続していることは、散発的に二十回あることよりはるかに強い信号です。
3. 提案があったかどうかで分ける。 そのアノテーター自身の描画速度が、受け入れ速度に対する自然な対照群になります。

これができないこと

不正を検出するものではなく、アノテーターを分類するものでもありません。フラグは調べるきっかけであって、結論ではありません。

基準率は重要で、しかも忘れられがちです。項目の 80% が本当に自明なコーパスでは、速いことはたいてい正しく、追認を捕まえるよう調整した規則はほとんど有能さを捕まえてしまいます。だからこそ閾値は、配布されるモデルではなくあなたのプロジェクトに属するのです。

Potato でのやり方

annotation_telemetry:
  enabled: true
  fidelity: events
  idle_ms: 120000

自由記述の回答に対応するのがキーストロークログで、書かれたテキスト、書き写されたテキスト、貼り付けられたテキストを区別します。これは keydown ではなく beforeinput で捕捉します。貼り付け、ドロップ、IME、音声入力、オートフィルはいずれも keydown を発生させずにフィールドを変更するため、keydown だけを見るロガーは、まさに捕まえるべき場面が見えないからです。

どちらも学習済みの分類器を同梱していません。追認のラベル付きコーパスは存在せず、当てはめた係数を検証済みとして提示すれば、それはでっち上げの検証になります。

倫理

アノテーターには記録中である旨が表示され、この開示は既定で有効です。ここが研究計器と監視を分ける線であり、同意文書には何を記録するのか（所要時間とプロセス）、何を記録しないのか（内容と座標）、どれだけの期間保持するのか、何に使うのかを明示しておく価値があります。

同意文の例と保持期間の論点についてはキーストロークログの倫理を参照してください。

参考文献

• 描画テレメトリ
• キーストロークログ
• ゴールドスタンダードと注意チェック
• LLM による事前アノテーション