Kulturelle Domänenanalyse in Potato: Freie Listen, Triaden, Pile Sorts und Konsens

Die kulturelle Domänenanalyse untersucht, wie die Mitglieder einer Gruppe über eine Menge von Dingen denken, etwa Obstsorten, Krankheiten oder Verwandtschaftsbezeichnungen. Potato 2.12.0 führt freie Listen, Triadentests, Pile Sorts und Wahr/Falsch-Fragebögen als Fragen in einer Studie aus, und sein Export cultural_domain berechnet aus den Antworten Salienzindizes, Ähnlichkeitsmatrizen und ein kulturelles Konsensmodell.

Die Methoden sind diejenigen, die Weller und Romney in Systematic Data Collection (1988) beschreiben:

Freie Listen

annotation_schemes:
  - annotation_type: free_list
    name: fruit_freelist
    description: List all the kinds of fruit you can think of.
    instructions: >-
      Type one kind of fruit, then press Enter. Keep going until you cannot
      think of any more.
    min_items: 3
    max_items: 60
    normalize: true
    label_requirement:
      required: true

Jedes Item wird mit der Zeit seit Beginn der Liste gespeichert. Die Uhr läuft nur, solange die Seite angezeigt wird, und eine zeitbegrenzte Liste speichert ihre verstrichene Zeit alle fünf Sekunden, sodass das Verlassen der Seite höchstens so viel Zeit zurückgibt. Eine freie Liste steht meist auf einer Umfrageseite; tragen Sie denselben Eintrag dann in die Fragendatei der Seite ein.

Triadentests

Die Domäne kommt aus der Konfiguration oder aus einer Liste in jedem Item:

annotation_schemes:
  - annotation_type: triad_test
    name: triads
    description: Triads
    labels: [apple, banana, cherry, grape, lemon, lime, mango]

annotation_schemes:
  - annotation_type: triad_test
    name: triads
    description: Triads
    items_field: items

Eine Domäne braucht 3 bis 60 Items, und ein Triadentest auf einer Umfrageseite braucht labels, weil eine Umfrageseite kein Item hat. question ist standardmäßig "Which is most different?", und max_triads begrenzt die Zahl der gestellten Triaden.

steiner ist ein balancierter unvollständiger Blockplan mit λ = 1 (ein Steiner-Tripelsystem). Er existiert nur für diese n. Wird er für andere angefordert, ist das ein Validierungsfehler, wenn die Domäne in labels steht, und bei einer Domäne aus items_field wird auf sample zurückgegriffen. sample wählt Triaden einzeln aus und nimmt bei jedem Schritt die unbenutzte Triade, deren Paare bisher am seltensten vorkamen. Mit einem festen max_triads bleiben die Paarhäufigkeiten nahezu gleich, können sich aber um zwei unterscheiden.

Alle Teilnehmenden beantworten dieselben Triaden, weil das Design nur von der Domäne abhängt. Die Reihenfolge der Triaden und die Position der Items innerhalb jeder Triade werden pro teilnehmender Person mit einem Seed gemischt, sodass ein Neuladen dieselbe Abfolge zeigt. Teilnehmende klicken auf ein Item oder drücken 1, 2 oder 3.

Eine Studie mit allen drei Methoden

examples/advanced/cultural-domain/ führt die Schritte in einer Studie aus:

1. eine Prestudy-Seite mit einer freien Liste ("List all the kinds of fruit you can think of");
2. zwei Items, neun Obst- und sieben Gemüsesorten, jedes mit einem Triadentest und einem offenen Pile Sort über die Liste des Items;
3. eine Poststudy-Seite mit acht Wahr/Falsch-Aussagen für eine Konsensanalyse.

python potato/flask_server.py start examples/advanced/cultural-domain/config.yaml -p 8000

In einer echten Studie kommen die freien Listen meist zuerst, und die Items für die Triaden und Pile Sorts werden danach aus ihnen ausgewählt, was zwei Deployments bedeutet. Das Beispiel fasst alle drei in einer Studie zusammen, damit es sich von Anfang bis Ende ausprobieren lässt.

Die Analyse exportieren

python -m potato.export --config config.yaml --format cultural_domain --output out/ \
    --option consensus_schemes=cc_tomato,cc_lemon_sweet,cc_banana_tree \
    --option synonyms=data/synonyms.csv

Salienz in freien Listen

freelist_items.csv hat eine Zeile pro aufgelistetem Item, mit der nutzenden Person, dem normalisierten Item, dem Eingetippten, seinem Rang, der Listenlänge und dem Zeitpunkt, zu dem es hinzugefügt wurde. salience.csv hat eine Zeile pro Item und Domäne, das salienteste zuerst, mit N (die nicht leeren Listen), F (die Listen, die das Item nennen), dem Prozentsatz der Informantinnen und Informanten, dem mittleren Rang, Smiths S und dem kognitiven Salienzindex nach Sutrop (2001). Für Item j, wobei Liste i die Länge L_i hat und j auf Rang r_ij nennt:

S_j   = (1/N) × Σ_i (L_i − r_ij + 1) / L_i     (sum over lists that mention j)
CSI_j = F_j / (N × mean rank of j)

Vor dem Zählen wird jedes Item, falls gewünscht, normalisiert und über die Synonymtabelle abgebildet. Ein Item, das danach zweimal in einer Liste vorkommt, zählt einmal, auf seinem ersten Rang. Tragen Sie Pluralformen in die Synonymdatei ein, etwa apples,apple, damit sie nicht getrennt gezählt werden.

Ähnlichkeit aus Pile Sorts und Triaden

Aus jeder card_sort-Antwort baut der Export eine Item-mal-Item-Matrix mit einer 1, wo zwei Items denselben Stapel teilen. pilesort_cooccurrence_<scheme>_<item>.csv enthält den Anteil der Informantinnen und Informanten, die ein Paar auf einen Stapel gelegt haben, bezogen auf diejenigen, die beide Items sortiert haben, und pilesort_informants_<scheme>_<item>.csv enthält den Anteil der Item-Paare, die je zwei Informantinnen oder Informanten gleich behandelt haben.

In einer Triade (a, b, c), in der c als am stärksten abweichend gewählt wurde, gilt das Paar (a, b) als ähnlich beurteilt. triads_similarity_<scheme>.csv gibt für jedes Paar an, wie oft es als ähnlich beurteilt wurde, geteilt durch die Zahl der Male, die es gemeinsam gezeigt wurde. Bei einem Steiner-Design kommt jedes Paar pro Informantin oder Informant in einer Triade vor, sodass die Ähnlichkeit eines Paares der Anteil der Informantinnen und Informanten ist, die es zusammengelassen haben.

Kultureller Konsens

Das Konsensmodell (Romney, Weller & Batchelder, 1986) fragt, ob eine Gruppe von Informantinnen und Informanten einen gemeinsamen Wissensbestand teilt, wie viel davon jede Person besitzt (ihre Kompetenz) und welches die kulturell richtigen Antworten sind. Ein Schema vom Typ radio, select oder likert, das in consensus_schemes genannt wird, liefert eine Frage pro Item oder eine einzige Frage, wenn es auf einer Umfrageseite steht.

1. Übereinstimmung. Für Informantinnen oder Informanten i und j wird der Anteil übereinstimmender Antworten um das Raten unter L Optionen korrigiert.
2. Kompetenz. Die Kompetenzen sind die Ladungen auf dem ersten Faktor der korrigierten Übereinstimmungsmatrix, geschätzt durch iterierte Hauptachsen-Faktorenanalyse.
3. Eine Kultur. Die Eigenwerte werden berichtet. Ein Verhältnis von erstem zu zweitem Eigenwert über 3 ist die übliche Faustregel für eine gemeinsame Kultur, und es ist eine Faustregel, kein Test.
4. Lösungsschlüssel. Nach Batchelder und Romney (1988) gibt der Export für jede Frage die wahrscheinlichste kulturell richtige Antwort mit ihrer A-posteriori-Wahrscheinlichkeit an.

consensus_informants.csv, consensus_answers.csv und consensus_summary.json enthalten die Ergebnisse. Mindestens drei Informantinnen oder Informanten werden benötigt, und bei wenigen Fragen sind die Kompetenzschätzungen verrauscht, weil das Modell für Fragebögen mit Dutzenden von Fragen gedacht ist. Schemata vom Typ multiselect werden für den Konsens abgewiesen, da eine Person auf eine Frage mehrere Antworten geben kann; verwenden Sie daher ein radio pro Aussage.

Literatur

• Weller, S. C., & Romney, A. K. (1988). Systematic Data Collection. Sage.
• Romney, A. K., Weller, S. C., & Batchelder, W. H. (1986). Culture as consensus: A theory of culture and informant accuracy. American Anthropologist, 88(2), 313-338.
• Batchelder, W. H., & Romney, A. K. (1988). Test theory without an answer key. Psychometrika, 53(1), 71-92.
• Sutrop, U. (2001). List task and a cognitive salience index. Field Methods, 13(3), 263-276.

Weiterführende Informationen

• Card Sort - Offene und geschlossene Pile Sorts
• Ego-Netzwerke - Persönliche Netzwerke derselben Informantinnen und Informanten
• Umfrageimport - Fragebögen aus anderen Werkzeugen übernehmen

Implementierungsdetails finden Sie in der Quelldokumentation.