Mode Think-Aloud

Nouveau dans la v2.7.0

Avant les LLM, la référence pour comprendre un jugement était le protocole de pensée à voix haute, et il n'a jamais survécu au contact des outils d'annotation. Le mode Think-Aloud laisse simplement les annotateurs parler pendant qu'ils travaillent.

La transcription mot à mot est conservée comme justification, délibérément non résumée, parce que paraphraser un protocole de pensée à voix haute contamine l'objet même que l'on cherche à recueillir. Les étiquettes peuvent être validées à la voix au moyen de formulations fixées, repérées par un analyseur à base de règles, sans aucun LLM dans la chaîne.

La reconnaissance vocale tourne entièrement en local grâce à faster-whisper, qui fonctionne en temps réel sur CPU avec le modèle tiny.en de 39 Mo. L'audio ne quitte jamais la machine, et il n'y a aucune API cloud à appeler ni facture au token à payer.

Note : Think-Aloud transcrit vos annotateurs. Si vous voulez annoter des transcriptions que vous possédez déjà, issues de Whisper, d'une API ASR cloud ou de sous-titres téléchargés, c'est une autre fonctionnalité : voir Formats de transcription. On les confond parce que Whisper intervient dans les deux.

Enregistrer la chaîne de raisonnement humaine

Il ne s'agit pas seulement de recueillir des justifications. Think-Aloud capture la façon dont une personne raisonne réellement jusqu'à une étiquette, ce qui vous permet de confronter cette chaîne de raisonnement humaine à celle d'un modèle sur le même élément.

L'annotation de récompense de processus de Potato découpe le raisonnement d'un modèle, étape par étape. Think-Aloud capture celui d'une personne. Ce sont deux surfaces de capture, et c'est en les mettant côte à côte sur le même élément que les divergences intéressantes apparaissent.

Fonctionnement

1. L'annotateur appuie sur 🎤 Penser à voix haute et parle librement.
2. L'audio est capturé par tranches complètes de six secondes et transcrit en local.
3. Pour valider une étiquette à la voix, il emploie l'une des formulations acceptées :
   • "I label this Polite" / "I'd call it neutral"
   • "My answer is impolite"
   • "Final answer: polite" / "I go with neutral"
4. La détection sélectionne automatiquement l'option correspondante dans l'interface, la chaîne d'enregistrement habituelle se déclenche et la pastille confirme : Entendu : Impolite ✓. Prononcer une nouvelle formule plus tard change l'étiquette : c'est la dernière validation qui l'emporte.
5. Avec require_spoken_label: true, appuyer sur Suivant sans avoir validé d'étiquette déclenche un rappel unique montrant la formulation attendue. Un second Suivant laisse passer, et cliquer sur les étiquettes fonctionne toujours.

Tout ce qui est dit pendant la réflexion est ignoré. « This seems polite, but… » ne valide rien. Seules les formulations fixées valident, et c'est ce qui suffit à rendre l'analyse par règles adéquate. Les erreurs d'écoute sont absorbées par la correspondance floue des étiquettes : « in polite » se résout donc en Impolite.

Installation

pip install faster-whisper   # local STT; first recording downloads the model (~39 MB)

Le navigateur a besoin de l'autorisation micro. localhost compte comme un contexte sécurisé.

Configuration

thinkaloud:
  enabled: true
  schema: politeness          # scheme whose labels can be spoken (default: first radio)
  stt: auto                   # faster_whisper | mock | auto
  model: tiny.en              # tiny.en is CPU real-time; base.en is sturdier
  chunk_seconds: 6            # recording chunk length
  require_spoken_label: true  # nudge on Next without a committed label
  # stems:                    # override accepted phrasing regexes (advanced)
  # fillers: [um, uh, hmm, i guess, maybe]
  # language: en

Ce que vous obtenez

• Des flux de justification mot à mot alignés sur chaque couple (annotateur, instance), la formule d'étiquetage étant isolée à part. La transcription moins la formule de validation constitue la justification.
• Des signaux d'hésitation déterministes : nombre de tranches silencieuses et nombre de mots de remplissage sur un lexique configurable, calculés par arithmétique plutôt que par des modèles.
• Une page de revue sur /thinkaloud/review (administrateur) avec, pour chaque session, la transcription, l'étiquette validée à la voix, la confiance et les statistiques d'hésitation.
• L'annotation mains libres comme effet de bord, avec un vrai gain d'accessibilité et un soulagement des TMS.

Données et API

Les transcriptions sont écrites dans {output_annotation_dir}/thinkaloud/transcripts.jsonl (en ajout seul, un enregistrement par tranche).

Notes de conception

• L'analyseur travaille sur une fenêtre glissante des deux dernières tranches, si bien qu'une formule à cheval sur une frontière de tranche est quand même détectée.
• La correspondance des étiquettes est d'abord exacte, puis par préfixe, puis via difflib au seuil de 0.8, en préférant les correspondances exactes. « polite » n'entre jamais en collision floue avec « Impolite ».
• Ajouter un moteur de reconnaissance vocale consiste à dériver STTBackend dans potato/thinkaloud/stt.py et à l'enregistrer dans create_stt.

Pour aller plus loin

• Annotation de récompense de processus — la surface de raisonnement côté modèle
• Suivi comportemental — analyse des temps
• Contrôle qualité
• Documentation source