アノテーションを機械学習向けにエクスポートする
Potato のアノテーションを ML 向けの形式、JSON/JSONL、CoNLL、Hugging Face Datasets、spaCy、COCO、YOLO にエクスポートする方法と、それぞれの用途を解説します。
アノテーションの目的はたいてい、モデルを訓練するか評価することなので、エクスポート形式は重要です。Potato は素の JSON/JSONL/CSV を書き出すほか、訓練パイプラインがそのまま読み込める ML ネイティブな形式も出力でき、つなぎのコードは不要です。 ラベル付けの前に出力先の形式を決めておくと、データと ID をどう構成すべきかが見えてきます。
リファレンスはエクスポート形式を参照してください。
タスクに合わせて形式を選ぶ
| 形式 | 用途 |
|---|---|
| JSON / JSONL | 汎用。項目ごとに 1 レコード。無難な既定値。 |
| CSV | 表計算ソフトでの利用や、分類ラベルの手早い分析。 |
| CoNLL | トークン単位の系列ラベリング（NER、チャンキング）、BIO タグ付き。 |
| Hugging Face Datasets | transformers の訓練にそのまま読み込む。 |
| spaCy | spaCy の NER やテキスト分類モデルの訓練。 |
| COCO / YOLO | 画像アノテーションからの物体検出とセグメンテーション。 |
| Parquet | 大規模な列指向ストレージと分析。Parquet エクスポートを参照。 |
出力形式の設定
yaml
output_annotation_dir: "annotation_output/"
output_annotation_format: "jsonl" # json, csv, conll, ...エクスポートに含まれるもの
典型的なレコードには、項目 ID、元のコンテンツ、各アノテーターのラベル、メタデータ（誰が、いつ）が含まれます。集計結果だけでなく全アノテーターのラベルを残しておくと、一致度を計算でき、後から別の方法で再集計できます。
ラベル付けの前にエクスポートを計画する
エクスポート形式は入力の設計を制約します。系列ラベリングのエクスポートには一貫したトークン化が必要で、COCO/YOLO には画像の寸法が、Hugging Face には安定したラベル集合が必要です。出力先を先に決めておけば、調査をやり直さずに済みます。アノテーション向けのデータ形式の設計を参照してください。