Un schéma commun aux trois

Chacun des trois projets vous demande la même chose sur un sujet différent : réaliser une tâche langagière avec un outil spécialisé, la réaliser ensuite avec un grand modèle de langue large language model (LLM)grand modèle de langue (GML) language modelsmodèles de langue A neural-network language model, usually based on the transformer architecture, that is trained on very large amounts of text and contains many learned parameters.Modèle de langue à réseau de neurones, habituellement fondé sur l'architecture des transformeurs, entraîné sur de très grandes quantités de texte et comptant de très nombreux paramètres appris. , puis évaluer vous-mêmes ce que les deux ont produit.

Évaluer, trois fois

C’est l’évaluation qui change le plus d’un projet à l’autre, parce que mesurer la qualité ne veut pas dire la même chose selon la tâche.

• Parfois il faut d’abord construire la référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. à laquelle comparer, en faisant la tâche à la main, puis mesurer à quel point vos décisions concordent avec celles des autres.
• Parfois la référence n’est qu’une bonne réponse parmi d’autres, et le travail consiste à juger des productions à l’aide d’une grille d’erreurs, puis à confronter ce jugement à celui d’un agent conversationnel et à des mesures automatiques.
• Parfois enfin, rien n’est donné, et c’est à vous de décider quoi mesurer et comment.

L’autonomie augmente

Les trois projets se suivent en ordre croissant de difficulté et d’autonomie.

• Le Projet 1, sur l’extraction de termes, est encadré de près : tâche fixée, environnement de travail prêt, évaluation construite ensemble en classe. Il a aussi un volet industriel, puisqu’il alimente une étude menée avec une entreprise de traduction.
• Le Projet 2, sur la traduction automatique machine translation (MT)traduction automatique (TA) translationtraduction The use of a computer system to produce content in a target language that conveys content expressed in a source language.Utilisation d'un système informatique pour produire, dans une langue cible, un contenu qui rend un contenu exprimé dans une langue source. , garde une tâche définie et des outils donnés, mais vous décidez de votre façon de traduire avec l’agent et vous jugez vous-mêmes les erreurs.
• Le Projet 3 est le vôtre : l’équipe choisit sa question, conçoit sa démarche et la défend.

Les équipes

Les équipes comptent trois personnes. Chaque équipe travaille avec un agent conversationnel différent, et l’attribution change d’un projet à l’autre : au fil du trimestre, le groupe aura vu plusieurs modèles à l’œuvre sur les mêmes tâches. La composition des équipes peut elle aussi être revue entre les projets.

Ce que vous remettez

Chaque projet se conclut par deux rapports, un individuel et un d’équipe, remis à la même date ; un gabarit vous est fourni pour chacun, avec le contenu attendu section par section.

À la dernière séance du projet, chaque équipe présente son travail. Rien de formel : le but est de montrer aux autres équipes ce que vous avez fait et de nourrir la discussion, pas de vous mettre en scène (see also the Evaluation page) (voir aussi la page Évaluation).

Les consignes de chaque projet

Tout ce qui est propre à un projet, le calendrier, la répartition des points, les règles de ressources et les gabarits des rapports, est sur la page du projet, publiée au début du projet (see also the TRA6008 · Project briefs chapter) (voir aussi le chapitre TRA6008 · Consignes des projets).