कंटेंट मॉडरेशन एनोटेशन का सेटअप
Potato को toxicity पहचान, hate speech वर्गीकरण और संवेदनशील सामग्री पर लेबल लगाने के लिए कॉन्फ़िगर कीजिए, एनोटेटर की सेहत का ध्यान रखते हुए।
नुक़सानदेह सामग्री पर लेबल लगाना फ़िल्म समीक्षाओं पर लेबल लगाने जैसा नहीं है। यह काम लोगों को थका देता है, दिशानिर्देश हमेशा कुछ धुँधले रहते हैं, और जो मामले सबसे ज़्यादा मायने रखते हैं उन्हीं पर आम तौर पर एनोटेटर आपस में असहमत होते हैं। यह गाइड बताती है कि Potato में कंटेंट मॉडरेशन का कार्य ऐसे कैसे सेट करें जो इन दिक़्क़तों को गंभीरता से ले, और शुरुआत उन्हीं लोगों से जो यह काम करते हैं।
एनोटेटर की सेहत
घंटों तक नफ़रत भरी और विचलित करने वाली सामग्री पढ़ने का असर पढ़ने वालों पर पड़ता है। कुछ सेटिंग इस काम को सहने लायक बनाए रखने में मदद करती हैं।
सेहत से जुड़ा कॉन्फ़िगरेशन
wellbeing:
# Content warnings
warnings:
enabled: true
show_before_session: true
message: |
This task involves reviewing potentially offensive content including
hate speech, harassment, and explicit material. Take breaks as needed.
# Break reminders
breaks:
enabled: true
reminder_interval: 30 # minutes
break_duration: 5 # suggested minutes
message: "Consider taking a short break. Your wellbeing matters."
# Session limits
limits:
max_session_duration: 120 # minutes
max_items_per_session: 100
cooldown_between_sessions: 60 # minutes
# Easy exit
exit:
allow_immediate_exit: true
no_penalty_exit: true
exit_button_prominent: true
exit_message: "No problem. Take care of yourself."
# Support resources
resources:
show_support_link: true
support_url: "https://yourorg.com/support"
hotline_number: "1-800-XXX-XXXX"सामग्री को धुँधला करना
display:
# Blur images by default
image_display:
blur_by_default: true
blur_amount: 20
click_to_reveal: true
reveal_duration: 10 # auto-blur after 10 seconds
# Text content warnings
text_display:
show_severity_indicator: true
expandable_content: true
default_collapsed: trueToxicity का वर्गीकरण
कई स्तरों वाली toxicity
annotation_schemes:
- annotation_type: radio
name: toxicity_level
description: "Rate the toxicity level of this content"
labels:
- name: none
label: "Not Toxic"
description: "No harmful content"
- name: mild
label: "Mildly Toxic"
description: "Rude or insensitive but not severe"
- name: moderate
label: "Moderately Toxic"
description: "Clearly offensive or harmful"
- name: severe
label: "Severely Toxic"
description: "Extremely offensive, threatening, or dangerous"Toxicity की श्रेणियाँ
annotation_schemes:
- annotation_type: multiselect
name: toxicity_types
description: "Select all types of toxicity present"
labels:
- name: profanity
label: "Profanity/Obscenity"
description: "Swear words, vulgar language"
- name: insult
label: "Insults"
description: "Personal attacks, name-calling"
- name: threat
label: "Threats"
description: "Threats of violence or harm"
- name: hate_speech
label: "Hate Speech"
description: "Targeting protected groups"
- name: harassment
label: "Harassment"
description: "Targeted, persistent hostility"
- name: sexual
label: "Sexual Content"
description: "Explicit or suggestive content"
- name: self_harm
label: "Self-Harm/Suicide"
description: "Promoting or glorifying self-harm"
- name: misinformation
label: "Misinformation"
description: "Demonstrably false claims"
- name: spam
label: "Spam/Scam"
description: "Unwanted promotional content"Hate speech की पहचान
निशाना बनाए गए समूह
annotation_schemes:
- annotation_type: multiselect
name: target_groups
description: "Which groups are targeted? (if hate speech detected)"
labels:
- name: race_ethnicity
label: "Race/Ethnicity"
- name: religion
label: "Religion"
- name: gender
label: "Gender"
- name: sexual_orientation
label: "Sexual Orientation"
- name: disability
label: "Disability"
- name: nationality
label: "Nationality/Origin"
- name: age
label: "Age"
- name: other
label: "Other Protected Group"Hate speech की गंभीरता
annotation_schemes:
- annotation_type: radio
name: hate_severity
description: "Severity of hate speech"
labels:
- name: implicit
label: "Implicit"
description: "Coded language, dog whistles"
- name: explicit_mild
label: "Explicit - Mild"
description: "Clear but not threatening"
- name: explicit_severe
label: "Explicit - Severe"
description: "Dehumanizing, threatening, or violent"संदर्भ के हिसाब से मॉडरेशन
प्लेटफ़ॉर्म के अपने नियम
# Context affects what's acceptable
annotation_schemes:
- annotation_type: radio
name: context_appropriate
description: "Is this content appropriate for the platform context?"
labels:
- name: appropriate
label: "Appropriate for Context"
- name: borderline
label: "Borderline"
- name: inappropriate
label: "Inappropriate for Context"
- annotation_type: text
name: context_notes
description: "Explain your contextual reasoning"मंशा की पहचान
annotation_schemes:
- annotation_type: radio
name: intent
description: "What is the apparent intent?"
labels:
- name: genuine_attack
label: "Genuine Attack"
description: "Intent to harm or offend"
- name: satire
label: "Satire/Parody"
description: "Mocking toxic behavior"
- name: quote
label: "Quote/Report"
description: "Reporting or discussing toxic content"
- name: reclaimed
label: "Reclaimed Language"
description: "In-group use of slurs"
- name: unclear
label: "Unclear Intent"इमेज सामग्री का मॉडरेशन
दृश्य सामग्री का वर्गीकरण
annotation_schemes:
- annotation_type: multiselect
name: image_violations
description: "Select all policy violations"
labels:
- name: nudity
label: "Nudity/Sexual Content"
- name: violence_graphic
label: "Graphic Violence"
- name: gore
label: "Gore/Disturbing Content"
- name: hate_symbols
label: "Hate Symbols"
- name: dangerous_acts
label: "Dangerous Acts"
- name: child_safety
label: "Child Safety Concern"
priority: critical
escalate: true
- name: none
label: "No Violations"
- annotation_type: radio
name: action_recommendation
description: "Recommended action"
labels:
- name: approve
label: "Approve"
- name: age_restrict
label: "Age-Restrict"
- name: warning_label
label: "Add Warning Label"
- name: remove
label: "Remove"
- name: escalate
label: "Escalate to Specialist"गुणवत्ता नियंत्रण
quality_control:
# Calibration for subjective content
calibration:
enabled: true
frequency: 20 # Every 20 items
items: calibration/moderation_gold.json
feedback: true
recalibrate_on_drift: true
# High redundancy for borderline cases
redundancy:
annotations_per_item: 3
increase_for_borderline: 5
agreement_threshold: 0.67
# Expert escalation
escalation:
enabled: true
triggers:
- field: toxicity_level
value: severe
- field: image_violations
contains: child_safety
escalate_to: trust_safety_team
# Distribution monitoring
monitoring:
track_distribution: true
alert_on_skew: true
expected_distribution:
none: 0.4
mild: 0.3
moderate: 0.2
severe: 0.1पूरा कॉन्फ़िगरेशन
annotation_task_name: "Content Moderation"
# Wellbeing first
wellbeing:
warnings:
enabled: true
message: "This task contains potentially offensive content."
breaks:
reminder_interval: 30
message: "Remember to take breaks."
limits:
max_session_duration: 90
max_items_per_session: 75
display:
# Blur sensitive content
image_display:
blur_by_default: true
click_to_reveal: true
# Show platform context
metadata_display:
show_fields: [platform, community, report_reason]
annotation_schemes:
# Toxicity level
- annotation_type: radio
name: toxicity
description: "Toxicity level"
labels:
- name: none
label: "None"
- name: mild
label: "Mild"
- name: moderate
label: "Moderate"
- name: severe
label: "Severe"
# Categories
- annotation_type: multiselect
name: categories
description: "Types of harmful content (select all)"
labels:
- name: hate
label: "Hate Speech"
- name: harassment
label: "Harassment"
- name: violence
label: "Violence/Threats"
- name: sexual
label: "Sexual Content"
- name: self_harm
label: "Self-Harm"
- name: spam
label: "Spam"
- name: none
label: "None"
# Confidence
- annotation_type: likert
name: confidence
description: "How confident are you?"
size: 5
min_label: "Uncertain"
max_label: "Very Confident"
# Notes
- annotation_type: text
name: notes
description: "Additional notes (optional)"
rows: 4
quality_control:
redundancy:
calibration:
escalation:
output_annotation_dir: annotations/
export_annotation_format: jsonlदिशानिर्देश लिखना
एनोटेटरों के बीच की ज़्यादातर असहमति धुँधले दिशानिर्देशों से आती है, इसलिए मेहनत यहीं काम आती है। Mild और moderate के बीच का फ़र्क़ खोलकर लिखिए, एनोटेटरों को अंदाज़ा लगाने पर मत छोड़िए। सीमा पर पड़ने वाले मामले दिखाइए, साथ में यह भी कि हर मामला जहाँ रखा गया वहाँ क्यों रखा गया। बताइए कि प्लेटफ़ॉर्म और दर्शक से फ़ैसला कैसे बदलता है, क्योंकि एक ही वाक्य किसी समुदाय में ठीक हो सकता है और किसी दूसरे में नियम का उल्लंघन। और यह भी बताइए कि जब मंशा सचमुच साफ़ न हो तब क्या करना है, यह मान लेने के बजाय कि ऐसा होता ही नहीं। यह सब नई तरह की सामग्री सामने आने पर बार-बार बदलना पड़ेगा।
एनोटेटरों का साथ देना
किसी एक व्यक्ति को पूरे दिन toxic सामग्री पर मत बिठाइए, काम बारी-बारी से बाँटिए। मानसिक स्वास्थ्य से जुड़े संसाधन एक क्लिक की दूरी पर रखिए, चिंता जताने के लिए लोगों को कोई असली रास्ता दीजिए, और यह मानिए कि यह मुश्किल काम है। है भी।
इसके पीछे की वर्गीकरण स्कीमा कैसे काम करती है, यह टेक्स्ट एनोटेशन दस्तावेज़ में है। गुणवत्ता नियंत्रण गाइड में redundancy और calibration पर ज़्यादा विस्तार से लिखा है।
पूरे दस्तावेज़ एनोटेशन स्कीम पर हैं।