Skip to content

指南

與工具無關的標註實踐講解:方案設計、標註者間一致性、眾包與智慧體評估,每篇都配有可實操的示例。

這些是講解性文章,不是參考手冊。每篇先回答一個與具體工具無關的標註實踐問題,再以 Potato 作為實操示例。

它們大致分為幾組。第一組是在標註開始之前要做的決定:標註什麼、怎麼寫標註規範、資料應該是什麼形態。較大的一組針對具體的標註種類,從命名實體和共指,到音訊、影片、影像分割與三維點雲。第三組關於測量:一致性、裁決、樣本量,以及標註者意見不一致時該怎麼辦。其餘各篇涉及評估大模型與智慧體的輸出,以及如何組織一次有償標註研究。

如果你是標註新手,從 什麼是資料標註? 開始。如果你已經有了標註結果,需要說明其品質,從 標註者間一致性詳解 開始。