Ce qu’il vous faut
Pour chaque langue, les deux listes de l’équipe, une par système :
- le fichier TSV de TermoStat, tel que téléchargé. Exportez le TSV plutôt que le TBX : le TSV garde la spécificité de chaque candidat, ce qui permet d’appliquer votre seuil ici, alors que le TBX ne garde que les formes ;
- la liste de l’agent, dans un fichier
.txten UTF-8 UTF-8UTF-8 text encodingencodage du texte A variable-length character encoding for Unicode. It represents each valid Unicode code point using a sequence of one to four bytes. Characters in the ASCII repertoire use one byte and retain the same byte values as in ASCII, which helps with compatibility. UTF-8 can represent the same Unicode repertoire as UTF-16 and UTF-32, but it does not imply that every character occupies a single byte. It is widely recommended for multilingual Web content and data exchange.Codage de caractères à longueur variable pour Unicode. Il représente chaque point de code Unicode valide au moyen d'une séquence de un à quatre octets. Les caractères du répertoire ASCII occupent un seul octet et conservent les mêmes valeurs qu'en ASCII, ce qui favorise la compatibilité. UTF-8 permet de représenter le même répertoire Unicode que UTF-16 et UTF-32, mais cela ne signifie pas que chaque caractère occupe un seul octet. Il est largement recommandé pour les contenus Web multilingues et l'échange de données. : un terme par ligne, et rien d’autre. Obtenir ce format de l’agent fait partie du travail sur la requête promptrequête promptingrequêtes Input given to a generative AI system to specify a task, provide context, or otherwise guide its output.Entrée fournie à un système d'IA générative pour préciser une tâche, donner du contexte ou orienter la sortie. .
La référence se choisit dans la page : la liste majoritaire, ou l’annotation data annotationannotation des données datadonnées The process of adding labels or other structured information, such as categories, tags, transcriptions, or marked regions, to data so that it can be used to train or evaluate a machine learning system.Processus consistant à ajouter aux données des étiquettes ou d'autres informations structurées, comme des catégories, des balises, des transcriptions ou des zones marquées, pour qu'elles puissent servir à entraîner ou à évaluer un système d'apprentissage automatique. de n’importe quelle personne du groupe, sous ses initiales.
Le calcul
ScoresLes scores
| Matching ruleRègle de correspondance | CandidatesCandidats | CorrectCorrects | Terms foundTermes trouvés | PrecisionPrécision | RecallRappel | F1 |
|---|
Correct candidates and terms found can differ for TermoStat: one of its lines can match several forms of the reference.Pour TermoStat, les candidats corrects et les termes trouvés peuvent différer : une même ligne peut correspondre à plusieurs formes de la référence.
Ce que fait la page
- Une ligne de TermoStat est un candidat, avec toutes les formes de sa
colonne
variants; elle est correcte si l’une d’elles correspond à un terme de la référence gold standardétalon de référence evaluationévaluation The best available reference dataset, annotation, measurement or procedure against which a system's results are evaluated.Meilleur jeu de données, annotation, mesure ou procédure de référence disponible pour évaluer les résultats d'un système. . Le lemme lemmalemme linguisticslinguistique The base or dictionary form under which the inflected forms of a word are grouped: go, goes, went and gone share the lemma go.Forme de base, ou forme de dictionnaire, sous laquelle sont regroupées les formes fléchies d'un mot : va, allons, allait et allé partagent le lemme aller. n’est jamais comparé : il manque souvent dans le texte. - La précision precisionprécision evaluationévaluation The share of the items a system returned that are correct according to the gold standard.Part des éléments trouvés par un système qui sont corrects selon la référence. compte les candidats, le rappel recallrappel evaluationévaluation The share of the items in the gold standard that a system returned.Part des éléments de la référence qu'un système a trouvés. compte les termes de la référence. Une ligne de TermoStat qui couvre deux formes de la référence compte donc une fois pour la précision et deux fois pour le rappel.
- Une forme répétée ne compte qu’une fois.
- Les scores sont donnés selon les trois règles de correspondance, celles du calcul de l’accord (see also the Project 1 · Step by step page) (voir aussi la page Projet 1 · Pas à pas).
- Rien n’est envoyé : les fichiers sont lus par votre navigateur et restent sur votre ordinateur.
This page is only available in French.