Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
This teaching view only exists in French.
Le point à faire ressortir : quelqu’un qui sait qu’il va être comparé aux autres se met à annoter comme il imagine que les autres le feraient. Le désaccord naturel est justement ce que l’étude mesure, donc il faut annoter avant de savoir comment l’accord se calcule.
C’est aussi la raison de la règle de non-discussion. Le dire ici plutôt que comme une interdiction sèche.
Le calendrier du projet
Séance 4 · Projet 1 : présentation du travail de projet, questionnaire de profil, début de l'annotation, formation des équipes
Échéance · Réponse à la question du consentement (AnnoTerm) (envoyée en classe le 3 septembre 2026)
Évaluation · Annotation du Projet 1 et questionnaire de fin de tâche (23 h 59)
Séance 5 · Projet 1 : calcul de l'accord, précision, rappel et F1, retour sur la notion de terme et sur l'extraction automatique
Échéance · Module sur l'extraction terminologique (à lire avant la séance, une fois l'annotation remise)
Évaluation · Parcours sur les formats d'échange (23 h 59)
Séance 6, évaluation · Présentations du Projet 1
Échéance · Listes de TermoStat et de l'agent, par équipe (par courriel, au plus tard à 23 h 59, avec les diapositives s'il y en a)
Pas de cours (période d'activités libres)
Évaluation · Rapports du Projet 1 (23 h 59, sur StudiUM)
séance évaluation autre échéance jeudi sans cours
Ce que demande le projet
Le premier projet porte sur l’extraction de termes, en trois temps :
- Annoter : vous marquez vous-même, dans dix textes, ce qui est un terme et ce qui n’en est pas.
- Comparer : vous mettez vos décisions à côté de celles des huit autres personnes, et vous mesurez l’écart.
- Évaluer : vous faites travailler un outil d’extraction et un agent conversationnel sur les mêmes textes, et vous jugez ce qu’ils produisent.
Ces trois temps se font en sept étapes pratiques, de la séance 4 aux deux rapports du 25 octobre 2026 (see also the Project 1 · Step by step page) (voir aussi la page Projet 1 · Pas à pas).
L’ordre compte. L’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. vient avant les métriques et avant toute comparaison, parce qu’une personne qui sait qu’elle va être comparée aux autres se met à annoter comme elle imagine que les autres le feraient. Le projet mesure votre jugement, et non votre conformité aux autres.
Les équipes : trois équipes de trois, formées à la séance 4, chacune avec un agent conversationnel différent (Claude, ChatGPT ou Gemini), pour comparer les résultats d’une équipe à l’autre. L’équipe à qui revient Gemini peut proposer un autre agent, à condition qu’il repose sur une autre famille de modèles.
L’annotation, terminée le 4 octobre 2026
L’annotation s’est faite individuellement et en silence, sur INCEpTION, avec deux questionnaires, de profil et de fin de tâche. Les consignes d’annotation servent encore pour la section 1 du rapport individuel :
INCEpTION_lignes_directrices_annotation.pdfLa dimension recherche
L’annotation du Projet 1 sert aussi de premier groupe d’annotateurs à une étude que je mène sur l’annotation terminologique, AnnoTerm. Votre charge de travail et votre note sont exactement les mêmes que vous participiez à l’étude ou non : le projet compte pour 20 %, il est corrigé selon les mêmes critères, et rien dans la correction ne dépend de votre décision.
Ce qui change, en revanche, c’est la forme de la tâche. Plusieurs contraintes du Projet 1 viennent de l’étude et non de la pédagogie, et une contrainte dont on connaît la raison se supporte mieux qu’une contrainte arbitraire :
- les textes sont fixés et identiques pour tout le monde ;
- la plateforme est imposée ;
- la consigne d’annotation est unique et ne se négocie pas ;
- il est interdit d’en discuter avant la remise ;
- l’échéance est ferme ;
- les outils qui proposent des candidats sont interdits.
Sur quoi porte le consentement
Le projet, vous le faites en entier dans tous les cas. Le consentement porte sur une seule chose : que vos données servent aussi à l’étude que nous comptons publier. Vous pouvez donc faire tout le projet et refuser cela. La question vous a été envoyée pendant la séance du 3 septembre 2026, par un courriel de Noah Tremblay Taillon menant à un questionnaire LimeSurvey ; votre réponse est attendue pour le 1er octobre 2026. Elle ne passe pas par moi : je n’ai pas accès aux réponses, et je n’apprends qu’après la remise des notes finales qui a consenti à l’étude et qui n’y a pas consenti.
Les deux questionnaires du projet, eux, sont des travaux de cours, et je vois vos réponses comme je vois vos annotations. La seule chose que je ne vois pas, c’est votre réponse à la question du consentement.
Retirer son consentement
Vous pouvez retirer votre consentement jusqu’au 1er novembre 2026, sans avoir à vous justifier et sans aucune conséquence sur le cours. La demande passe par Noah, jamais par moi. Ce retrait ne vous retire pas du projet, qui reste noté comme pour tout le monde : il veut dire seulement que vos données ne serviront pas à l’étude publiée.
L’encadrement éthique
L’étude a reçu l’approbation du comité d’éthique de la recherche en arts et en humanités le 24 août 2026 (dossier 2026-8835, CERAH). Elle est financée par le FRQNT (2025-NCM-362349).
Environ quinze minutes pour la démonstration d’INCEpTION, après la fiche : ouvrir un texte, marquer une occurrence, la corriger, enregistrer. Montrer aussi ce à quoi ressemble une phrase où l’on ne marque rien.
Une phrase, pas un discours : la question est partie à la séance 1, par courriel de Noah dans LimeSurvey, la réponse est attendue pour le 1er octobre 2026, je n’ai pas accès aux réponses et je ne sais qui a consenti qu’après la remise des notes finales. Consentir ou non ne change ni le travail, ni l’échéance, ni la note.
Le questionnaire de profil, lui, se remplit en classe aujourd’hui, avant d’ouvrir INCEpTION ; les identifiants sont sur StudiUM.