Entre les séances 5 et 6 · pour le jeudi 15 October 2026Entre les séances 5 et 6 · pour le jeudi 15 octobre 2026

Le projet en sept étapes

Le Projet 1 se fait en sept étapes, dans cet ordre. La première est terminée.

Étape	Qui	Pour quand
1. Annoter les dix textes	individuel	4 octobre 2026 (fait)
2. Lire les scores d’accord	individuel, puis en équipe	dès maintenant, pour la séance 6
3. Tirer une liste de TermoStat	en équipe	séance 6, 15 octobre 2026
4. Tirer une liste de l’agent conversationnel	en équipe	séance 6, 15 octobre 2026
5. Calculer les scores des deux systèmes	individuel et en équipe	séance 6, 15 octobre 2026
6. Envoyer les quatre listes et présenter	en équipe	séance 6, 15 octobre 2026
7. Rédiger les deux rapports	individuel et en équipe	25 octobre 2026, 23 h 59

Le Projet 1 vaut 20 % de la note du cours, sur 100 points : 10 pour l’annotation terminée et les deux questionnaires, 15 pour la présentation, 30 pour le rapport d’équipe et 45 pour le rapport individuel.

Où trouver chaque résultat

Tout est sur le site, sauf les dix textes en .txt, sur StudiUM. Aucun fichier de scores ne vous est envoyé : chaque score se consulte ou se calcule sur l’une des quatre pages ci-dessous, en choisissant la langue et la règle de correspondance en haut de la page.

Ce que vous cherchez	Où	Ce que vous y choisissez
les dix textes, pour TermoStat, pour l’agent et pour retrouver vos segments	StudiUM, en .txt	en_01 à en_05, fr_01 à fr_05
votre F1 moyen avec les huit autres, et votre accord le plus haut et le plus bas	Les scores d’accord du groupe	votre ligne : la colonne « Moyenne » et les autres cases. Le même F1 moyen se recopie sur les deux lignes de sa langue dans le tableau 3.1 du rapport individuel : il ne dépend pas du système
le F1 entre deux personnes, dont les membres de votre équipe	Les scores d’accord du groupe	la case à la croisée de leurs initiales
l’accord moyen du groupe	Les scores d’accord du groupe	le tableau sous la grille, une colonne par règle
les termes que deux listes partagent, et ceux qui ne sont que dans l’une	Comparer deux listes, terme par terme	deux listes : des initiales, ou la liste majoritaire
la liste majoritaire, et la place de chaque personne par rapport à elle	La liste majoritaire	rien : la liste du projet est celle des termes marqués par au moins 5 personnes sur 9, le réglage par défaut
les scores de TermoStat et de l’agent, avec le bruit et le silence	Calculer les scores de TermoStat et de l’agent	la référence (la liste majoritaire ou vos initiales), puis vos deux listes ; les trois règles sont données ensemble
les listes des trois équipes	Calculer les scores de TermoStat et de l’agent, après la séance 6	je les y ajoute une fois reçues

Quelle règle de correspondance utiliser

Par défaut, la règle 3, dans les deux rapports : les écarts qui restent portent sur ce qui compte comme terme, le sujet du projet. Les trois règles seulement aux deux questions qui les demandent : 3.2 du rapport individuel et 3.1 du rapport d’équipe.

La règle juste pour évaluer un système dépend de ce qu’il fait des formes. Regardez dans quelle forme chacun rend ses candidats : en minuscules, au singulier, ou tels qu’ils figurent dans le texte. Une règle stricte pénalise un système qui harmonise les formes, pour des différences qui ne gênent peut-être pas dans une base terminologique termbasebase terminologique terminologyterminologie A database of terminological entries organized by concept, grouping the terms of several languages with metadata such as definitions, domains and usage status.Base de données d'entrées terminologiques organisée par concept, contenant les termes de plusieurs langues et des métadonnées comme des définitions, des domaines et des marques d'usage.  ; une règle souple efface des différences qui peuvent compter. C’est le fond des questions 3.2 et 4.1 du rapport individuel et 3.1 du rapport d’équipe.

Les trois règles

Pour dire qu’un candidat « est » un terme de la référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. , il faut une règle : jusqu’où deux formes différentes comptent pour le même terme.

Règle	Ce qui ne compte plus comme une différence	Exemple
1 · correspondance exacte	rien
2 · détails de forme ignorés	la casse, les espaces et traits d’union, le type d’apostrophe, l’article élidé	« ProBNP » et « probnp », « l’insuffisance cardiaque » et « insuffisance cardiaque »
3 · singulier et pluriel confondus	la règle 2, plus le -s ou le -x final du pluriel	« facteur de risque » et « facteurs de risque », mais pas « principal » et « principaux »

Rien d’autre n’est mis en commun : « congénital » et « congénitale », ou un terme et sa reformulation, restent deux formes sous les trois règles.

Où l'écart entre les règles compte

• Les exemples se prennent dans les listes de la règle 3. Sous la règle 1, un candidat juste mais écrit autrement que dans la référence (« disease » pour « diseases ») peut compter à la fois comme bruit et comme silence : vous commenteriez une différence d’écriture au lieu d’un désaccord sur ce qu’est un terme.
• L’écart entre les règles est une information en soi. Un score qui monte beaucoup de la règle 1 à la règle 3 veut dire qu’une partie des erreurs ne portait que sur la forme ; un score qui ne bouge presque pas veut dire que les écarts portent sur le choix des termes.
• En comparant l’anglais et le français (question 4.2 du rapport d’équipe), regardez aussi si l’écart entre les règles diffère d’une langue à l’autre.

Les chiffres dans les rapports : la tendance avant le détail

• Les tableaux donnent les chiffres ; votre texte dit ce qu’ils montrent ensemble : quel système fait mieux, en anglais ou en français, plutôt en précision ou en rappel, et où il se situe par rapport à l’accord entre vous.
• La moyenne avant les cas particuliers : votre F1 moyen avec les huit autres dit plus que chacune des huit cases ; votre accord le plus haut et le plus bas servent de repères.
• Quelques centièmes d’écart ne sont pas un résultat : avec une liste majoritaire d’environ 120 termes, un terme de plus ou de moins déplace le rappel de près d’un centième. Commentez un chiffre isolé seulement quand il rompt la tendance, et dites alors pourquoi.
• Les exemples font le reste : un écart qui compte s’explique avec deux ou trois termes tirés de vos listes, pas avec d’autres chiffres.

1. Annoter les dix textes (fait)

Votre annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. est terminée et ne change plus. Elle suffit déjà pour écrire la section 1 du rapport individuel : vos décisions sur quatre à six segments où vous avez hésité.

2. Lire les scores d’accord

Vous situez votre annotation par rapport à celles des huit autres personnes, individuellement d’abord, puis en équipe. Règle 3, en anglais et en français.

Ce qu'il faut relever, individuellement

• Sur Les scores d’accord du groupe : votre F1 F1 scorescore F1 evaluationévaluation The harmonic mean of precision and recall: a single number between 0 and 1 that is high only when both are high.Moyenne harmonique de la précision et du rappel : un seul nombre entre 0 et 1, qui n'est élevé que si les deux le sont. moyen avec les huit autres, et votre accord le plus haut et le plus bas, avec qui.
• Sur Comparer deux listes, terme par terme, votre liste contre la liste majoritaire : deux termes de la majorité que vous n’avez pas retenus, et deux de vos termes que la majorité n’a pas gardés.

Cette matière fait la section 2 du rapport individuel.

Ce qu'il faut relever, en équipe

• Sur Les scores d’accord du groupe : le F1 de chaque paire de membres.
• Sur Comparer deux listes, terme par terme, une paire après l’autre : trois exemples de segments où vous divergez le plus.

Cette matière fait la section 2 du rapport d’équipe.

3. Tirer une liste de TermoStat

En équipe, une liste par langue : les cinq fichiers .txt d’une langue, pris sur StudiUM, en un seul passage (TermoStat accepte plusieurs fichiers). Le seuil se choisit avant de calculer le moindre score.

Comment faire

1. Choisissez les catégories grammaticales à garder, et notez pourquoi.
2. Lancez l’extraction et téléchargez le résultat en TSV, pas en TBX : le TSV garde la spécificité de chaque candidat.
3. Choisissez le seuil. Par défaut, TermoStat trie les candidats selon leur score de spécificité, la colonne « Spec », du plus spécifique au moins spécifique. Le seuil est une valeur de cette colonne : vous gardez les candidats dont le score l’atteint ou la dépasse, c’est-à-dire le haut de la liste, et vous écartez les autres. Vous pouvez aussi garder la liste entière, sans seuil. Notez votre choix et sa raison en deux ou trois phrases.
4. Sur la page de calcul, entrez cette valeur dans le champ « Seuil » : la page applique le seuil elle-même au fichier TSV complet.

Les scores à rapporter sont ceux de la liste au seuil choisi. Essayer d’autres seuils après coup, pour voir ce qu’ils changent, est permis. Vos réglages et leur raison font la section 1.1 du rapport d’équipe.

4. Tirer une liste de l’agent conversationnel

En équipe, avec l’agent de votre équipe : une conversation et une liste par langue, sur les cinq fichiers .txt de cette langue. Le but : une liste aussi proche que possible de ce que vous ajouteriez à votre propre base terminologique.

Comment faire

• Essayez plusieurs requêtes promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. et gardez toutes les versions dans la conversation : ce que vous avez changé, et l’effet de chaque changement, font la section 1.3 du rapport d’équipe.
• La liste finale : un fichier .txt, un candidat par ligne, rien d’autre. Obtenir ce format de l’agent fait partie du travail sur la requête.
• Notez le modèle exact, la date et le niveau de raisonnement, et gardez le lien de partage de la conversation (section 1.2 du rapport d’équipe).

5. Calculer les scores

Sur Calculer les scores de TermoStat et de l’agent, avec les quatre listes de l’équipe, une fois contre votre propre annotation et une fois contre la liste majoritaire.

Quel calcul pour quel rapport

La page donne la précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. , le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. et le F1 selon les trois règles, et les listes de bruit noisebruit evaluationévaluation The items a system returns that are not correct: in term extraction, the candidates that are not terms.Éléments trouvés par un système qui ne sont pas corrects : en extraction de termes, les candidats qui ne sont pas des termes. et de silence silencesilence evaluationévaluation The correct items a system fails to return: in term extraction, the terms of the gold standard that were not proposed.Éléments corrects qu'un système ne trouve pas : en extraction de termes, les termes de la référence qui n'ont pas été proposés. .

Référence	Qui calcule	Pour quelles questions
votre propre annotation (vos initiales)	chacun	rapport individuel, section 3
la liste majoritaire	l’équipe, puis chacun reprend les chiffres	rapport d’équipe, sections 3 et 4 ; rapport individuel, 3.1

Dans les listes de bruit et de silence de la règle 3, relevez tout de suite des exemples : pour chaque système, deux candidats erronés et deux termes manqués, d’un même type, que le fonctionnement du système explique (section 4.1 du rapport d’équipe).

6. Envoyer les listes et présenter, à la séance 6

Le 15 octobre 2026, une présentation de 15 à 20 minutes en classe. Les diapositives ne sont pas obligatoires, mais un support visuel aide à montrer des exemples et des scores ; le tableau de la classe peut aussi servir.

Une seule personne peut faire l’essentiel de la présentation : vous n’avez pas à vous relayer. Chaque membre de l’équipe doit toutefois pouvoir répondre aux questions et prendre part à la discussion, qui compte pour 4 des 15 points. Je vous suggère aussi que chacun présente brièvement ses propres choix d’annotation, puisque c’est là que vos trois annotations divergent.

Les quatre listes de l’équipe, et vos diapositives si vous en avez, s’envoient dans un même courriel au plus tard le 15 octobre 2026 à 23 h 59, avant ou après la présentation.

Les quatre fichiers à envoyer

Par courriel, à ayla.rigouts.terryn@umontreal.ca, au plus tard le 15 octobre 2026 à 23 h 59, avec le seuil de TermoStat retenu pour chaque langue dans le corps du message :

• TermoStat_[Agent]_EN.tsv et TermoStat_[Agent]_FR.tsv, tels que téléchargés ;
• Agent_[Agent]_EN.txt et Agent_[Agent]_FR.txt, un candidat par ligne.

[Agent] est le nom de l’agent de votre équipe, par exemple TermoStat_Claude_EN.tsv. Je les ajoute au site pour que les trois équipes comparent leurs résultats ; cette comparaison fait la section 5 du rapport d’équipe. Les conversations avec l’agent ne sont pas partagées : à la présentation, vous montrez ce que vous avez essayé et votre requête finale, avec des exemples, mais la conversation entière reste à l’équipe et n’est remise qu’à moi, avec le rapport.

Ce qui est noté dans la présentation

La présentation sert à partager votre expérience avec les autres équipes et à en discuter avant d’écrire les rapports. Ce qui compte, ce sont des exemples concrets et ce que vous avez vécu, pas une analyse terminée : l’analyse est notée dans les rapports. De 15 à 20 minutes par équipe, discussion comprise.

Critère	Points	Ce qui vaut tous les points
Vos annotations	4	comment vous avez décidé, où vos trois annotations divergent, avec des exemples
Votre agent conversationnel	4	votre expérience avec lui : ce que vous avez essayé, ce qui a marché ou non, des exemples de ses réponses, et ce qu’il fait autrement que TermoStat
TermoStat, brièvement	1	vos réglages et vos scores, pour que les équipes puissent se comparer. Un seul point, parce que TermoStat est le même outil pour toutes les équipes : seuls ses réglages peuvent un peu différer
La discussion	4	des réponses claires aux questions, et de l’intérêt pour les résultats des autres équipes
Clarté et présentation	2	on comprend ce que vous avez fait, la présentation est structurée et tient dans le temps prévu

7. Rédiger les deux rapports

Pour le 25 octobre 2026, 23 h 59, en PDF, sur les gabarits, à déposer sur StudiUM dans deux remises, « Projet 1 · Rapport individuel » et « Projet 1 · Rapport d’équipe ». Chaque membre de l’équipe dépose le même rapport d’équipe : chacun a ainsi une remise officielle, et la note et les commentaires du rapport d’équipe, les mêmes pour tous, vous sont transmis sur StudiUM. Chaque question donne ses points, et chaque gabarit commence par un tableau qui dit sur quelle page trouver chaque chiffre demandé.

TRA6008_RapportIndividuel_projet1_gabarit.docx DOCX · 15 ko · downloadtélécharger TRA6008_RapportEquipe_projet1_gabarit.docx DOCX · 15 ko · downloadtélécharger

D'où vient la matière de chaque section

Rapport	Section	Points	Vient de l’étape
individuel (45 points)	1. Vos décisions	10	1
	2. Votre annotation parmi les neuf	12	2
	3. Les systèmes et votre annotation	15	2 et 5
	4. Ce que vous en retenez	8	l’ensemble
d’équipe (30 points)	1. Ce que vous avez fait	6	3 et 4
	2. Vos trois annotations	5	2
	3. Les résultats	4	5
	4. Les deux systèmes	11	5
	5. Les trois équipes	4	6

Les agents conversationnels dans les rapports

Les agents conversationnels sont permis pour les rapports et la présentation, comme toute autre ressource.

• Ce qui est noté, c’est ce que vous avez compris et ce que vous pensez : vos décisions, vos exemples, vos chiffres, votre position sur les cas où les autres personnes ou les outils ne sont pas d’accord avec vous. Un agent conversationnel n’a rien de tout cela ; un agent qui vous aide à structurer, à reformuler ou à vérifier un calcul ne vous coûte rien.
• Déclarez-le : à la fin de chaque rapport, en une ligne, quel agent vous avez utilisé et pour quoi. Aucun usage n’a à être justifié ; un usage non déclaré, lui, relève du règlement sur l’intégrité.

Ce qu’il vous faut

Pour chaque langue, les deux listes de l’équipe, une par système :

• le fichier TSV de TermoStat, tel que téléchargé. Exportez le TSV plutôt que le TBX : le TSV garde la spécificité de chaque candidat, ce qui permet d’appliquer votre seuil ici, alors que le TBX ne garde que les formes ;
• la liste de l’agent, dans un fichier .txt en UTF-8 UTF-8UTF-8 text encodingencodage du texte A variable-length character encoding for Unicode. It represents each valid Unicode code point using a sequence of one to four bytes. Characters in the ASCII repertoire use one byte and retain the same byte values as in ASCII, which helps with compatibility. UTF-8 can represent the same Unicode repertoire as UTF-16 and UTF-32, but it does not imply that every character occupies a single byte. It is widely recommended for multilingual Web content and data exchange.Codage de caractères à longueur variable pour Unicode. Il représente chaque point de code Unicode valide au moyen d'une séquence de un à quatre octets. Les caractères du répertoire ASCII occupent un seul octet et conservent les mêmes valeurs qu'en ASCII, ce qui favorise la compatibilité. UTF-8 permet de représenter le même répertoire Unicode que UTF-16 et UTF-32, mais cela ne signifie pas que chaque caractère occupe un seul octet. Il est largement recommandé pour les contenus Web multilingues et l'échange de données.  : un terme par ligne, et rien d’autre. Obtenir ce format de l’agent fait partie du travail sur la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. .

La référence se choisit dans la page : la liste majoritaire, ou l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de n’importe quelle personne du groupe, sous ses initiales.

Le calcul

Ce que fait la page

• Une ligne de TermoStat est un candidat, avec toutes les formes de sa colonne variants ; elle est correcte si l’une d’elles correspond à un terme de la référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . Le lemme lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. n’est jamais comparé : il manque souvent dans le texte.
• La précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. compte les candidats, le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. compte les termes de la référence. Une ligne de TermoStat qui couvre deux formes de la référence compte donc une fois pour la précision et deux fois pour le rappel.
• Une forme répétée ne compte qu’une fois.
• Les scores sont donnés selon les trois règles de correspondance, celles du calcul de l’accord (see also the Project 1 · Step by step page, in the Course materials module) (voir aussi la page Projet 1 · Pas à pas, dans le module Matériel de cours).
• Rien n’est envoyé : les fichiers sont lus par votre navigateur et restent sur votre ordinateur.