コンテンツへスキップ

データアノテーション用語集

Krippendorff の α や裁定から IOB タグやプロセス報酬モデルまで、アノテーション研究で使われる用語を短く定義し、それぞれをガイドにリンクしました。

この用語集は、データアノテーションで使われる 50 の用語を、プロジェクトのどの段階で出てくるかに沿ってグループ分けして定義します。各項目は 1 から 3 文の定義を示し、その用語を詳しく扱う Potato のガイドにリンクします。

グループは、研究設計から、一致度、品質管理、モデル支援のラベル付け、LLM 評価を経て、質的コーディングとデータセットの文書化へと進みます。標準的な外部の定義がある場合、その項目は Wikipedia か、その用語を導入した論文にリンクします。アノテーションの概念に関する FAQは、タスクに何人のアノテーターが必要かなど、アノテーションに関するよくある質問に答えます。アノテーション学習パスは、目標別にガイドを読む順に並べています。

研究設計

項目（Item）

項目は、データ・ファイルの中でアノテーターがラベルを付ける 1 つの単位で、たとえば 1 つの文や 1 枚の画像です。Potato は、設定の item_properties の下で指定されたフィールドから、各項目の ID と内容を読み取ります。データ形式は、Potato が読み込むファイルのレイアウトを扱っています。

アノテーションスキーム（Annotation scheme）

アノテーションスキームは、アノテーターが各項目について答える 1 つの質問またはラベル付けの構成要素で、たとえば単一選択のカテゴリや、ハイライトされたスパンの集合です。Potato の設定は annotation_schemes の下にスキームを並べ、各スキームが annotation_type を指定します。アノテーションスキームの選び方は、研究が必要とする回答の種類をスキームに対応付けます。

ラベル集合（Label set）

ラベル集合は、タグセットとも呼ばれ、1 つのスキームでアノテーターが選ぶカテゴリを閉じたリストにしたものです。単一選択のスキームでは、カテゴリは重ならず、すべての項目をカバーするべきで、リストが足りない場合は「その他」のラベルを設けます。固有表現抽出は、標準的なエンティティのラベル集合を、チームが領域に合わせて絞り込む方法を示しています。

アノテーションガイドライン（Annotation guidelines）

アノテーションガイドラインは、どのラベルがどの項目に当てはまるかをアノテーターに伝える文書化されたルールで、定義と難しい事例の実例を含みます。ガイドラインは研究の途中で変わるため、各改訂にバージョン番号を付けておくと、読者はラベルを、そのラベルが付けられたときに有効だったルールまでたどれます。効果的なアノテーションガイドラインの書き方は、文書の構成を示しています。

パイロット（Pilot）

パイロットは、アノテーターの読み方が分かれるルールや項目を見つけるために、本研究の前に実施する小規模なアノテーションの回です。チームはパイロットのすべての不一致を確認し、ルールが不明確だったところでガイドラインを直し、一致度が落ち着くまでパイロットを繰り返します。パイロットのあとに改訂するは、このサイクルを説明しています。

重複（Overlap）

重複は、各項目に独立してラベルを付けるアノテーターの人数です。重複が 2 以上であれば一致度を測定でき、予算が決まっている場合は、項目あたりのアノテーターが 1 人増えるごとに、ラベル付けできる異なる項目が減ります。Potato は num_annotators_per_item で重複を設定し、アノテーターは何人必要か？は、タスク別の経験則を示しています。

スパン（Span）

スパンは、項目内のラベル付けされた区間で、開始位置、終了位置、ラベルとして記録されます。テキスト内の固有表現と、モデル出力内のハルシネーションを含む主張は、どちらもスパンとしてアノテーションされます。スパンアノテーションは、テキストと音声のスパン・タスクを扱っています。

IOB タグ付け（IOB tagging）

IOB タグ付けは、BIO タグ付けとも呼ばれ、スパンをトークンごとに 1 つのタグで表現します。B- はスパンの最初のトークン、I- はスパン内の後続のトークン、O はどのスパンにも含まれないトークンを示します。この形式は Ramshaw と Marcus (1995) に遡り、Potato の conll_2003 エクスポートは、スパンのアノテーションを BIO タグに変換します。

リッカート尺度（Likert scale）

リッカート尺度は、アノテーターに、同意や強度を、ラベル付けされた短い順序付きの点（一般に 5 点または 7 点）で評価させます。リッカート評価は順序尺度なので、その一致度には、名義尺度の係数ではなく、順序尺度の α や重み付き κ が必要です。評価尺度は、点の数とラベルを扱っています。

ペア比較（Pairwise comparison）

ペア比較は、アノテーターに 2 つの項目を示し、示された基準でどちらが優れているかを尋ねます。アノテーターごとに絶対尺度の使い方は異なりますが、比較が尋ねるのはどちらの項目が優れているかだけです。ペア比較とベスト–ワースト尺度法は、この形式を評価と比較しています。

ベスト–ワースト尺度法（BWS）

ベスト–ワースト尺度法は、アノテーターに少数（多くは 4 つ）の項目を示し、示された基準で最良の項目と最悪の項目を尋ねます。各項目が最良と最悪に選ばれた回数を数えると、項目ごとの実数値のスコアが得られ、Kiritchenko と Mohammad (2017) は、感情の強度については BWS が評価尺度より信頼できることを見いだしました。Potato の bws アノテーション・タイプはこの形式を実装しており、ベスト–ワースト尺度法の計算ツールは、選択をスコアに変換します。

Bradley–Terry モデル（Bradley–Terry model）

Bradley–Terry モデルは、多数のペア比較から、項目ごとに 1 つのスコアを推定します。このモデルでは、ある項目が別の項目に勝つ確率は、2 つの項目のスコアだけに依存します。モデルのペア比較は、このモデルを使って人間の投票から LLM を順位付けし、Bradley–Terry の計算ツールは、比較の CSV にこのモデルをあてはめます。

バウンディングボックス（Bounding box）

バウンディングボックスは、アノテーターが画像や動画のフレーム内の物体の周りに描く長方形で、座標とラベルとして保存されます。画像アノテーションは、ポリゴンやランドマークとともにボックスを扱っています。

積集合を和集合で割った値（IoU）

IoU は、2 つの形状が共有する面積を、2 つの形状がともに覆う面積で割ったもので、重なりがなければ 0、形状が同一なら 1 です。IoU は、領域に適用したジャッカード指数であり、時間 IoU は同じ比を時間区間に適用します。アノテーター間の平均 IoU は、一致がなくても、大きく中央にある物体では高く出ますが、バウンディングボックスのアノテーター間一致度を測る方法は、その値を偶然について補正します。

一致度と信頼性

アノテーター間一致度（IAA）

アノテーター間一致度は、同じ項目に独立してラベルを付けたアノテーターが、同じラベルを付ける度合いです。研究は、タスクがよく定義されていることの証拠として、偶然補正された係数で IAA を報告します。アノテーター間一致度の解説は各係数を扱い、Wikipedia はこの話題を評価者間信頼性として扱っています。

単純一致率（Percent agreement）

単純一致率は、同じラベルを受けた項目の割合、または項目上のアノテーター・ペアの割合です。単純一致率は偶然を無視し、それぞれが項目の 90% で同じ 1 つのラベルを選ぶ 2 人のアノテーターは、2 人ともランダムにラベルを付けていても、およそ 82% の項目で一致します。Potato の reliability エクスポートは、質問ごとに、Krippendorff の α と並べて単純一致率を報告します。

偶然補正された一致度（Chance-corrected agreement）

偶然補正された係数は、観察された一致度を、観察されたラベル頻度でアノテーターがランダムにラベルを付けた場合に期待される一致度と比較します。値が 1 なら完全一致、0 なら偶然の水準での一致、負の値なら偶然より低い一致を意味します。Cohen の κ、Fleiss の κ、Krippendorff の α は、一般的な偶然補正された係数です。

Cohen の κ（Cohen's kappa）

Cohen の κは、同じ項目に対する、ちょうど 2 人のアノテーターの間の偶然補正された一致度を測ります。Cohen (1960) は、名義カテゴリのためにこの係数を導入し、重み付き κ は、近い外れに部分点を与えることで、κ を順序付きカテゴリに拡張します。一致度の計算ツールは、ラベルの CSV から κ を計算します。

Fleiss の κ（Fleiss' kappa）

Fleiss の κは、すべての項目が、任意の人数のアノテーターから同じ数のラベルを受ける場合の、偶然補正された一致度を測ります。Fleiss (1971) は、名義カテゴリのためにこの係数を導入しました。ラベルが欠けている場合や重複が不均一な場合には、Krippendorff の α のほうがデータに適しています。

Krippendorff の α（Krippendorff's alpha）

Krippendorff の αは、任意の人数のアノテーターの間の偶然補正された一致度を測り、欠けたラベルを許容します。α には、名義、順序、間隔、比率の各データ向けのバージョンがあります。質的研究におけるコーダー間信頼性は、慣例的な 0.800 と 0.667 の閾値を説明し、一致度ガイドの FAQは、負の値を扱っています。

ペアワイズ F1（Pairwise F1）

ペアワイズ F1 は、1 人のアノテーターのスパンを正解、別のアノテーターのスパンを予測として扱い、アノテーターのすべてのペアにわたって F1 を平均することで、スパンの一致度を測ります。誰もマークしなかったテキストは、数える固定の項目集合を形成しないため、κ はスパン・タスクにあまり適していません。スパンと構造化出力における一致度は、完全一致と部分一致の境界の照合を扱い、スパンとボックスの一致度の計算ツールは、スコアを計算します。

一致度のドリフト（Agreement drift）

一致度のドリフトは、研究の進行中に、アノテーターがガイドラインを適用する方法が徐々に変化することです。本研究の前に 1 回だけ行う一致度の確認では、ドリフトを検出できません。/admin/iaa にある Potato の一致度レポートは、完了した項目の連続したウィンドウで一致度をスコア付けし、最新のウィンドウがプロジェクトのベースラインを、calibration.drop_threshold で設定された割合を超えて下回ると、再較正ラウンドを促します。

品質管理

ゴールドスタンダード（Gold standard）

ゴールドスタンダードの項目は、専門家が検証した答えを持ちます。ゴールド項目をアノテーションの流れに混ぜると、各アノテーターの正解率が継続的に得られ、クラウドソーシングのツールの中には、ゴールド項目をハニーポットと呼ぶものもあります。Potato の gold_standards ブロックは、ゴールド項目が現れる頻度と最低正解率（accuracy.min_threshold、既定では 0.7）を設定します。

注意力チェック（Attention check）

注意力チェックは、「この項目では『同意しない』を選んでください」のように、指示が正解を述べている項目です。示された答えを外したアノテーターは読んでいなかったことになり、Oppenheimer、Meyvis、Davidenko (2009) は、そのサーベイ版を教示操作チェック（instructional manipulation check）と名付けました。Potato の attention_checks ブロックは、frequency 項目ごとにチェックを挿入し、既定では、2 回失敗したアノテーターに警告し、5 回で遮断します。

トレーニングフェーズ（Training phase）

トレーニングフェーズは、本タスクの前に、答えが分かっている練習項目とフィードバックをアノテーターに与え、合格点に達したアノテーターだけを本タスクに進めます。Potato の training ブロックは、練習項目、合格基準、失敗時の対応を設定します。トレーニングフェーズは、そのオプションを説明しています。

裁定（Adjudication）

裁定では、専門家が、アノテーターのラベルが分かれた項目を確認し、最終ラベルを決めます。Potato の adjudication ブロックは、一致度が agreement_threshold（既定では 0.75）を下回るすべての項目を、adjudicator_users に挙げられたユーザーのキューに入れます。裁定と不一致の扱いは、裁定と集約を比較しています。

多数決（Majority vote）

多数決は、最も多くのアノテーターが付けたラベルを、項目の最終ラベルとします。多数決は、不注意なアノテーターと注意深いアノテーターを同等に数え、2–1 の分かれ方を 3–0 の全会一致と同じに数えます。クラウドラベルの集約：多数決を超えては、推定された信頼性でアノテーターに重みを付けるモデルを扱っています。

Dawid–Skene モデル（Dawid–Skene model）

Dawid–Skene モデルは、ラベルの行列だけから、EM アルゴリズムを使って、各項目の真のラベルと各アノテーターの混同行列を同時に推定します。Dawid と Skene (1979) は、観察者の誤り率を推定するためにこのモデルを導入しました。Dawid–Skene の計算ツールは、ラベルの CSV にこのモデルをあてはめ、クラウドラベルの集約：多数決を超えては、このモデルを多数決と比較しています。

MACE

MACE（Multi-Annotator Competence Estimation）は、各アノテーターを、答えを知っているか推測しているかのどちらかとしてモデル化し、各項目の真のラベルと、アノテーターごとの 0 から 1 の能力スコアを推定します。Hovy ら (2013) が MACE を導入しました。MACEは、Potato が研究のラベルに対してこのモデルを実行する方法を説明しています。

ソフトラベル（Soft label）

ソフトラベルは、項目に対して、1 つのカテゴリの代わりに、カテゴリにわたる確率分布を記録します。ソフトラベルは、1 人のアノテーターがラベルに点を配分する場合や、複数のアノテーターの選択のばらつきから得られ、多数決が捨ててしまう不一致を保持します。Potato の soft_label アノテーション・タイプは、前者を収集します。

モデル支援のアノテーション

事前アノテーション（Pre-annotation）

事前アノテーションは、事前ラベルと呼ばれる、モデルが提案したラベルをアノテーターに示します。アノテーターは各事前ラベルを承認、修正、または却下し、良い事前ラベルを確認するのは、ゼロからラベル付けするより時間がかかりません。Potato の pre_annotation ブロックは、ファイルまたはデータ内のフィールドから予測を読み込みます。

追認（Rubber-stamping）

追認は、事前ラベルを確認せずに受け入れることで、自動化バイアスの一種です。ラベルだけから計算できる指標では、追認されたデータとレビューされたデータを区別できず、同じ事前ラベルを受け入れたアノテーターは構造上一致するため、一致度は上がります。事前ラベル付きデータでレビューと追認を見分ける方法は、作業のタイミングで両者を区別します。

能動学習（Active learning）

能動学習は、それまでに集めたラベルで訓練したモデルにとって、ラベルのない各項目がどれだけ有益かによって、アノテーションのキューを並べ替えます。目的は、ランダム・サンプリングより少ないラベルで、目標とするモデルの精度に達することです。アノテーションのための能動学習はこのループを扱い、Potato の active_learning ブロックは、研究でこのループを設定します。

不確実性サンプリング（Uncertainty sampling）

不確実性サンプリングは、最も単純な能動学習の戦略で、モデルが予測ラベルに最も自信を持てない項目を選びます。選ばれた項目は決定境界付近に集中し、ラベル付けされたサンプルはコーパスを代表しなくなります。Potato の random_sample_percent は、キューの一部をランダムに保ち（既定では 0.2）、能動学習のリファレンスは、その他の戦略を説明しています。

LLM とエージェントの評価

LLM-as-a-judge

LLM ジャッジは、通常はルーブリックに照らして、出力を採点または比較するようにプロンプトされた言語モデルです。Zheng ら (2023) は、ジャッジとしての GPT-4 が、統制された人間の選好とクラウドソーシングによる人間の選好の両方と、80% を超える割合で一致することを見いだしました。LLM ジャッジと人間のアノテーターの一致度を測る方法は、ジャッジと人間の一致度を、人間どうしの一致度と比較しています。

較正（Calibration）

ジャッジや分類器は、述べられた確信度が正解率と一致するとき較正されているといい、較正されたジャッジの確信度 80% の判定のうち、約 80% が正しくなります。アノテーション管理では、較正ラウンドは、アノテーターを答えが分かっている共通の例に立ち戻らせ、ガイドラインの読み方を揃え直します。LLM ジャッジのガイドは前者の意味を扱い、一致度のドリフトと再較正ラウンドは後者を扱っています。

ルーブリック（Rubric）

ルーブリックは、1 つの品質判断を、定義されたスケールでそれぞれ採点される名前付きの基準に分解します。基準ごとに別々に採点すると、出力がどの基準で失敗したかが分かり、全体の 1 つのスコアでは理由が隠れます。ルーブリックに基づく LLM 評価は、ルーブリックの設計を扱っています。

選好データ（Preference data）

選好データは、同じプロンプトに対する 2 つ以上のモデル応答のうち、人間がどれを好むかを記録します。ペアワイズの選好判断は、人間のフィードバックからの強化学習（RLHF）の報酬モデルに使う、通常の訓練データです。RLHF と選好データの収集は、Potato の pairwise アノテーション・タイプによる収集を扱っています。

エージェントの軌跡（Agent trajectory）

エージェントの軌跡は、エージェントの 1 回の実行のすべてのステップを、エージェントの推論から各ツール呼び出しとツール出力まで記録したものです。軌跡のアノテーションとは、実行全体を判定し、うまくいかなかったステップを、誤りカテゴリと重大度とともにマークすることです。エージェントの軌跡をアノテーションするは、収集すべきラベルを扱っています。

プロセス報酬モデル（PRM）

プロセス報酬モデルは、最終回答だけでなく、解答の各推論ステップをスコア付けし、PRM の訓練には、各ステップが正しいかどうかを示すステップ単位のラベルが必要です。Lightman ら (2023) は、80 万件のステップ単位の人手ラベルを PRM800K として公開し、MATH の問題で、プロセス監督が結果監督を上回ることを見いだしました。プロセス報酬モデルとステップ単位のラベリングは、Potato の process_reward アノテーション・タイプによる収集を扱っています。

ハルシネーション（Hallucination）

ハルシネーションは、モデル出力の中の、入力にも既知の事実にも裏付けられていない記述です。裏付けのない語を、誤りラベルを付けたスパンとしてマークすると、回答全体に 1 つのフラグを付けるよりも使いやすいデータが得られます。スパンアノテーションによる幻覚（ハルシネーション）の検出は、誤りのためのラベル集合を示しています。

質的コーディング

コードとコーディング（Code and coding）

質的研究では、コーディングは、インタビュー、フィールドノート、自由記述の回答の抜粋に、コードと呼ばれる短いラベルを付けることです。演繹的コードは、コーディングが始まる前に理論やリサーチ・クエスチョンから得られ、帰納的コードは、コーディングの最中にデータから得られます。定性コーディングのためのインタビュー記録の準備は、録音からコーディングされた抜粋までのステップを扱っています。

コードブック（Codebook）

コードブックは、すべてのコードを、定義、そのコードが当てはまる場合と当てはまらない場合の規則、データからの例とともに一覧にしたものです。Potato は、保存される各アノテーションに、有効なコードブックの改訂を刻印し、その刻印は、どのコードブックのバージョンがどの抜粋をコーディングしたかを示します。質的研究のためのコードブック開発は、項目の書き方を扱い、定性コーディングのための共有コードブックは、この機能を説明しています。

内容分析（Content analysis）

内容分析は、記事や演説などの単位を、固定された変数とカテゴリのコードブックに照らしてコーディングします。少なくとも 2 人のコーダーがサンプルをコーディングし、研究は変数ごとにコーダー間信頼性を報告します。Potato での量的内容分析：コードブックと Krippendorff のアルファは、この手法を最初から最後まで実行します。

テーマ分析（Thematic analysis）

テーマ分析は、質的データセット全体にわたってテーマを展開するための手法群で、Braun と Clarke (2006) が心理学向けにまとめました。リフレクシブなテーマ分析は、コーディングを解釈として扱い、一致度係数を用いません。手法が係数に反対する場合は、両方の立場を説明しています。

コーダー間信頼性（ICR）

コーダー間信頼性は、質的研究と内容分析で、1 つのコードブックを同じ抜粋に適用するコーダー間の一致度を指す用語です。研究は通常、データの 10 から 25% を二重コーディングしたサンプルについて、Krippendorff の α または Cohen の κ を報告します。質的研究におけるコーダー間信頼性は、係数をコーディング設計に対応付けます。

メモ（Memo）

分析メモは、研究者がコーディング中に、データとコードについて書く覚え書きで、たとえば、あるコードがある箇所に当てはまる理由などです。Potato は、メモを項目、テキストの選択範囲、画像上の形状に添付し、プロジェクトのデータベースに保持します。定性コーディングのための分析メモは、返信、課題、メモのエクスポートを説明しています。

データセットの文書化

データシート（Datasheet）

データセットのデータシートは、データセットの動機、構成、収集過程、推奨される用途などについての、標準的な一連の質問に答えます。Gebru ら (2021) は、あらゆる電子部品に付属するデータシートになぞらえて、データシートを提案しました。データセットとモデルの文書化：データシート、データステートメント、モデルカードは、データシートを他の 2 つの標準と比較しています。

データステートメント（Data statement）

データステートメントは、言語データセットのキュレーションの根拠、言語変種、話者とアノテーターの属性、ガイドラインを記述します。Bender と Friedman (2018) は、自然言語処理のためにデータステートメントを提案しました。データステートメントにより、読者は、データセットがどの集団を代表するかを判断できます。

モデルカード（Model card）

モデルカードは、訓練済みモデルの想定される用途、限界、人口統計やその他のグループ別に分けた性能を報告します。Mitchell ら (2019) がモデルカードを提案しました。データシートやデータステートメントに記されたアノテーターの属性が、モデルカードのグループ別の結果を解釈可能にします。

用語が Potato の設定に現れる場所

上の用語の多くは、Potato の 1 つの設定キーまたは 1 つのアノテーション・タイプに対応します。次の表は、直接の設定を持つ用語の対応を示しています。

用語Potato の設定
項目item_properties（id_key、text_key）
アノテーションスキームannotation_schemes の下の 1 エントリ
重複num_annotators_per_item
ゴールドスタンダードgold_standards
注意力チェックattention_checks
トレーニングフェーズtraining
裁定adjudication
一致度のドリフトcalibration
事前アノテーションpre_annotation
能動学習、不確実性サンプリングactive_learning
リッカート尺度、ペア比較、BWS、ソフトラベル、スパン、PRMannotation_type: likert、pairwise、bws、soft_label、span、process_reward
Krippendorff の α、単純一致率reliability エクスポート
IOB タグ付けconll_2003 エクスポート

動作する設定にこれらのブロックを追加すると、項目あたり 3 つのラベルを集め、ゴールド項目でアノテーターをスコア付けし、一致度の低い項目を裁定者に送れます。

yaml
num_annotators_per_item: 3
 
gold_standards:
  enabled: true
  items_file: "gold_standards.json"
  frequency: 20          # about one gold item per 20 items
  accuracy:
    min_threshold: 0.8   # stricter than the 0.7 default
 
adjudication:
  enabled: true
  adjudicator_users: ["lead_annotator"]
  agreement_threshold: 0.75   # items below the threshold go to the adjudicator

ゴールド・ファイルの各レコードには id と gold_label が必要で、品質管理が完全な形式を説明しています。

関連資料

参考文献

  1. Bender, E. M., & Friedman, B. (2018). Data statements for natural language processing: Toward mitigating system bias and enabling better science. Transactions of the Association for Computational Linguistics, 6. https://aclanthology.org/Q18-1041/
  2. Bradley, R. A., & Terry, M. E. (1952). Rank analysis of incomplete block designs: I. The method of paired comparisons. Biometrika, 39(3/4), 324. https://doi.org/10.2307/2334029
  3. Braun, V., & Clarke, V. (2006). Using thematic analysis in psychology. Qualitative Research in Psychology, 3(2), 77-101. https://doi.org/10.1191/1478088706qp063oa
  4. Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20(1), 37-46. https://doi.org/10.1177/001316446002000104
  5. Dawid, A. P., & Skene, A. M. (1979). Maximum likelihood estimation of observer error-rates using the EM algorithm. Applied Statistics, 28(1), 20. https://doi.org/10.2307/2346806
  6. Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. https://doi.org/10.1037/h0031619
  7. Gebru, T., Morgenstern, J., Vecchione, B., Vaughan, J. W., Wallach, H., Daumé III, H., & Crawford, K. (2021). Datasheets for datasets. Communications of the ACM, 64(12), 86-92. https://doi.org/10.1145/3458723
  8. Hovy, D., Berg-Kirkpatrick, T., Vaswani, A., & Hovy, E. (2013). Learning whom to trust with MACE. Proceedings of NAACL-HLT 2013. https://aclanthology.org/N13-1132/
  9. Kiritchenko, S., & Mohammad, S. (2017). Best-worst scaling more reliable than rating scales: A case study on sentiment intensity annotation. Proceedings of ACL 2017 (Volume 2: Short Papers). https://aclanthology.org/P17-2074/
  10. Lightman, H., Kosaraju, V., Burda, Y., Edwards, H., et al. (2023). Let's verify step by step. arXiv:2305.20050. https://arxiv.org/abs/2305.20050
  11. Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D., & Gebru, T. (2019). Model cards for model reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency, 220-229. https://doi.org/10.1145/3287560.3287596
  12. Oppenheimer, D. M., Meyvis, T., & Davidenko, N. (2009). Instructional manipulation checks: Detecting satisficing to increase statistical power. Journal of Experimental Social Psychology, 45(4), 867-872. https://doi.org/10.1016/j.jesp.2009.03.009
  13. Ramshaw, L., & Marcus, M. (1995). Text chunking using transformation-based learning. Third Workshop on Very Large Corpora. https://aclanthology.org/W95-0107/
  14. Zheng, L., Chiang, W.-L., Sheng, Y., Zhuang, S., et al. (2023). Judging LLM-as-a-judge with MT-Bench and Chatbot Arena. NeurIPS 2023 Datasets and Benchmarks Track. https://arxiv.org/abs/2306.05685