Quantitative Inhaltsanalyse in Potato: Codebücher und Krippendorff's Alpha

Nachrichten, Posts oder Reden in Potato anhand eines aus einer CSV geladenen Codebuchs codieren, jeder Einheit mehrere Codierende zuweisen und Krippendorff's Alpha mit Bootstrap-Intervallen exportieren.

Eine quantitative Inhaltsanalyse codiert Einheiten wie Artikel, Posts, Reden oder Schlagzeilen anhand eines Codebuchs, mit mindestens zwei Codierenden auf einer Stichprobe, und berichtet die Intercoder-Reliabilität pro Variable. In Potato 2.12.0 lässt sich das Codebuch aus einer CSV-, JSON- oder YAML-Datei laden, und der Export reliability schreibt Krippendorff's Alpha pro Frage mit einem Bootstrap-Intervall.

Inhaltsanalyse bezeichnet hier die sozialwissenschaftliche Methode von Krippendorff und anderen: Ein Codebuch definiert die Variablen und ihre Kategorien, Codierende wenden es auf Einheiten an, und ein zufallskorrigierter Übereinstimmungskoeffizient auf einer doppelt codierten Stichprobe zeigt, ob sich das Codebuch reliabel anwenden lässt. In Potato:

ist das Codebuch eine Frage vom Typ hierarchical_multiselect, die aus einer Datei geladen wird (taxonomy_file), oder gewöhnliche Fragen vom Typ radio und multiselect;
gibt max_annotations_per_item: 2 oder mehr jeder Einheit mehrere Codierende;
schreibt --format reliability die Reliabilitätstabelle.

Ein Codebuch aus einer Datei laden

yaml

annotation_schemes:
  - annotation_type: hierarchical_multiselect
    name: topic
    description: Which topics does the headline cover?
    taxonomy_file: codebooks/topics.csv
    show_codes: true
    show_search: true

csv

code,label,parent,description
1,Economy,,"Taxes, jobs, prices and the budget"
101,Taxes,1,
102,Jobs and wages,1,
2,Environment,,
201,Climate,2,Climate change and emissions

Jede Zeile ist ein Code: code, label, parent (der Code des übergeordneten Eintrags, auf oberster Ebene leer) und eine optionale description, die als Tooltip des Codes angezeigt wird. Die Reihenfolge bleibt erhalten. show_codes: true zeigt 101 Taxes statt Taxes an. Eine JSON- oder YAML-Datei, die die Taxonomie selbst enthält, funktioniert ebenfalls. Hierarchische Mehrfachauswahl beschreibt die übrigen Optionen des Schemas.

Veröffentlichte Codebücher werden nicht mitgeliefert. Die Themen des Comparative Agendas Project und die Kategorien des Manifesto Project lassen sich für den eigenen Gebrauch in diesem Format aufschreiben, aber Potato liefert sie nicht mit: Das Codebuch des Comparative Agendas Project steht unter CC BY-NC-SA, und die Nutzungsbedingungen des Manifesto Project erlauben keine Weitergabe. Stellen Sie Ihre eigene Kopie bereit.

Jeder Einheit zwei oder mehr Codierende zuweisen

max_annotations_per_item legt fest, wie viele Codierende jede Einheit sehen. Ein verbreitetes Design lässt alle Codierenden eine gemeinsame Reliabilitätsstichprobe codieren und die übrigen Einheiten einmal codieren. Wie viele Annotierende brauchst du? und Aufgabenzuweisung beschreiben die Zuweisungsstrategien, und /admin/iaa zeigt die Übereinstimmung, während das Codieren läuft.

Reliabilität exportieren

bash

python -m potato.export --config config.yaml --format reliability --output ./export/

Der Export schreibt reliability.csv und reliability.md (dieselbe Tabelle in Markdown), eine Zeile pro Frage:

Spalte	Bedeutung
`level`	Messniveau: nominal (radio, select), ordinal (likert), intervallskaliert (number, slider, VAS) oder MASI für multiselect und hierarchical multiselect, mit Teilpunkten für überlappende Mengen
`alpha`	Krippendorff's Alpha über die Einheiten, die von zwei oder mehr Codierenden codiert wurden
`ci95_low`, `ci95_high`	Ein Perzentil-Bootstrap-Intervall, das Einheiten mit Zurücklegen neu zieht (`bootstrap` Resamples, standardmäßig 1000, mit festem Seed)
`percent_agreement`	Anteil der Codierendenpaare auf einer Einheit, die dieselbe Antwort gegeben haben
`units`, `coders`, `pairable_values`	Worauf der Koeffizient beruht

Der Bootstrap zieht Einheiten neu und ist nicht der koinzidenzbasierte Bootstrap von Hayes und Krippendorff (2007). Krippendorff (2004) empfiehlt, sich auf Variablen mit einem Alpha von mindestens 0,800 zu stützen und bis hinunter zu 0,667 vorläufige Schlüsse zu ziehen. Potato berichtet die Zahlen und überlässt dieses Urteil Ihnen.

Die Adjudikation löst die Uneinigkeiten auf, sobald die Reliabilität feststeht, und Inter-Annotator-Übereinstimmung erklärt die Koeffizienten.

Beispiel

bash

python potato/flask_server.py start examples/classification/codebook-content-analysis/config.yaml -p 8000

Weiterführende Informationen

Hierarchische Mehrfachauswahl - Baumstrukturierte Codebücher
Inter-Annotator-Übereinstimmung - Einen Übereinstimmungskoeffizienten wählen und lesen
Annotationsrichtlinien schreiben - Aus einem Codebuch Anweisungen für Codierende machen
Adjudikation und Uneinigkeit - Uneinigkeiten zwischen Codierenden auflösen

Implementierungsdetails finden Sie in der Quelldokumentation.