Skip to content

Paper Mode

アノテーションプロジェクトを1コマンドでコンパイル可能なLaTeXのデータセットレポートに変換します。ラベル分布、正しい引用付きの一致度統計、アノテーター表、所要時間、限界の記述までを生成します。

v2.7.0の新機能

データセット論文の締めくくりはいつも同じです。散らばった出力ファイルからアノテーター数、一致度統計、ラベル分布、所要時間を組み立て直し、手作業でLaTeXに整形する。Paper Mode（ペーパーモード）はそれを1コマンドで済ませます。

bash
python -m potato.paper config.yaml -o paper_export

1つのコマンドでプロジェクトがコンパイル可能なLaTeXのデータセットレポートになる。メソッドセクションまで含めて。

出力は完全にオフラインです。LLMもサーバーもネットワークも使いません。

text
paper_export/
├── paper.tex        # compilable standalone; every section cut-paste-able
├── paper.bib        # citations for every metric used (+ Potato)
├── tables/*.csv     # each table as CSV, for your own styling
└── summary.json     # every computed number, machine-readable

paper.tex はそのままコンパイルでき、段落も表もすべてマーカーで囲まれているので、節ごと原稿に持っていけます。

latex
%% === BLOCK: paragraph-annotation-methods ===
Annotators spent a median of 42 seconds per item (12.3 person-hours in total).
Inter-annotator agreement for \emph{politeness}, measured by Krippendorff's
$\alpha$ (nominal) \citep{krippendorff2004content} over the 214
multiply-annotated units, was $\alpha = 0.712$ (tentative agreement). ...
%% === END BLOCK: paragraph-annotation-methods ===

生成される内容

ブロック内容
paragraph-dataset-descriptionアイテム数、スキーマ、ラベル、アノテーター数とラベル数の合計。Dataセクションにそのまま使える
paragraph-annotation-methods所要時間、スキーマごとのKrippendorff's α、ペアワイズCohen's κの平均。いずれも引用付き
table-distribution-<scheme>スキーマごとのbooktabs形式のラベル分布表（合計行付き）
table-annotatorsアノテーターごとのアイテム数、ラベル数、アイテムあたりの所要秒数の中央値
table-agreementスキーマごとのα、κの平均、およびKrippendorffの0.667と0.8のしきい値に照らした解釈
paragraph-limitations実数値を伴う注意事項。単一アノテーションの単位、αの低いスキーマ、少人数のアノテーター集団

CLIオプション

フラグデフォルト説明
-o, --output-dirpaper_exportレポートの出力先
--no-anonymizeオフ実際のユーザー名を残す。デフォルトではアノテーターはA1..Anになる

手法に関するメモ

  • Paper Modeは {output_annotation_dir}/<user>/user_state.json を設定ファイルからの相対パスで解決して直接読むので、サーバーを起動しなくてもアーカイブ済みのプロジェクトで動きます。
  • Krippendorff's α（nominal）は simpledorff で計算します。管理者ダッシュボードと同じ実装で、2件以上のアノテーションがある単位が対象です。ペアワイズのCohen's κは、2件以上のアイテムを共有するアノテーターのペアごとに計算します。
  • カテゴリカルなスキーマ（radio、likert、multiselect、select、bws）は分布と一致度の対象になります。multiselectの一致度は、(item, label) のチェックボックスそれぞれを2値コード化された単位として扱います。スパンとテキストボックスのスキーマは対象外として記載されます。
  • 所要時間は行動トラッキングから取得します。total_time_ms を使い、なければインタラクションのタイムスタンプの範囲にフォールバックし、1時間を超えるギャップは無視します。

参考資料