تصميم صيغ البيانات للتعليق

يبدأ التعليق الجيّد بإدخال جيّد الهيكلة. يحتاج كل عنصر إلى مُعرّف فريد ثابت وإلى المحتوى المراد تصنيفه، وكل ما عداهما سياق اختياري. وضبط هذا منذ البداية يوفّر عليك إعادات مؤلمة لاحقًا، لأن التعليقات مرتبطة بمُعرّفات عناصرك.

صيغ التبادل الشائعة هي JSON وJSON Lines (كائن واحد في كل سطر، مثالية لمجموعات البيانات الكبيرة) وCSV. ويقرأ Potato الثلاثة جميعًا. وللاطلاع على المرجع الكامل انظر صيغ البيانات.

الحدّ الأدنى الذي يحتاجه كل عنصر

• مُعرّف فريد لا يتغيّر أبدًا. تُخزَّن التعليقات مقابل هذا المُعرّف، فإذا أعدت ترقيم العناصر في منتصف المشروع فقدت الرابط مع التصنيفات الموجودة.
• المحتوى المراد تعليقه: حقل نصّي، أو رابط URL لصورة، أو مسار صوتي، أو أثر مُهيكَل.

يبدو ملف JSONL لمهمة نصّية على هذا النحو:

{"id": "rev_001", "text": "The battery lasts all day. Highly recommend."}
{"id": "rev_002", "text": "Stopped working after a week."}

وتُخبر Potato بأيِّ المفاتيح يستخدم:

item_properties:
  id_key: id
  text_key: text
 
data_files:
  - "data/reviews.jsonl"

احمل السياق، لكن أبقِه منفصلاً عن التصنيفات

يمكن للحقول الإضافية، مثل رابط المصدر أو الطابع الزمني أو اسم النموذج، أن تُرافق كل عنصر وتُعرض على المُعلّقين دون أن تصبح تصنيفات. سَمِّها بوضوح كي يَسهُل قراءة المُخرَج لاحقًا.

خطّط للتصدير قبل التعليق

قرّر مبكرًا كيف ستُغذّي البياناتُ المُصنَّفة مسارك. يُصدّر Potato إلى JSON وJSONL وCSV، وإلى صيغ أصيلة لتعلّم الآلة مثل CoNLL لتوسيم التسلسلات، وHugging Face Datasets، وspaCy، وCOCO/YOLO للرؤية. واختيار الصيغة الهدف مسبقًا يحدّد لك أيّ الحقول وأيّ نظام مُعرّفات تستخدم الآن. انظر تصدير التعليقات لتعلّم الآلة.

output_annotation_dir: "annotation_output/"
output_annotation_format: "jsonl"

قراءات إضافية

• مرجع صيغ البيانات
• عرض العناصر، كيف يُعرَض المحتوى
• ما هو تعليق البيانات؟