LLM統合

はい。PotatoはOpenAI、Anthropic Claude、Google Gemini、およびOllamaを介したローカルLLMと統合しています。AIによる事前アノテーションを設定して、人間のアノテーションワークフローを加速できます。

設定ファイルに`llm`セクションを追加し、プロバイダー、モデル、プロンプトテンプレートを指定します。Potatoは各アイテムに対してLLM APIを呼び出し、アノテーターが承認または修正できるアノテーションフィールドを事前入力します。

はい。PotatoはOllamaによるローカルLLMの実行をサポートしています。AI支援の恩恵を受けながら、データを完全にプライベートに保つことができます。

はい。PotatoはRLHFのための人間の嗜好データ収集に適しています。ペアワイズ比較を使用してモデル出力の中から選択したり、リッカート尺度を使用して応答品質を評価したりできます。