Administrator
This teaching view is for the instructor. Enter the administrator password.
Wrong password · Mot de passe incorrect
Key pointsL'essentiel
BiasBiais
comes with the text a model learns from, and larger models and more data have not removed it.
Le vient du texte dont un modèle apprend, et ni les modèles plus grands ni les données plus nombreuses ne l'ont éliminé.
training bias · fr: biais des données d'entraînement biais des données d'entraînement · en : training bias ethics & society éthique et société : An unwanted systematic pattern, distortion, or gap in the data used to train an AI model that influences what the model learns. Régularité, distorsion ou lacune systématique et indésirable dans les données servant à entraîner un modèle d'IA, qui influence ce que le modèle apprend.
Key pointsL'essentiel
BiasBiais
Models sharpen the proportions they were trained on rather than reproducing them: turns a tendency into a default, and flattens variety within less represented groups.
Les modèles accentuent les proportions sur lesquelles ils ont été entraînés au lieu de les reproduire : l' fait d'une tendance un choix par défaut, et le aplatit la variété au sein des groupes moins représentés.
amplification · fr: amplification amplification · en : amplification ethics & society éthique et société : The tendency of a trained model to reproduce a pattern in its training data more strongly than the pattern occurs in the data, so that a tendency in the data becomes a default in the output. Tendance d'un modèle entraîné à reproduire une régularité de ses données d'entraînement plus fortement qu'elle n'y apparaît, si bien qu'une tendance des données devient la règle dans les sorties.
homogeneity bias · fr: biais d'homogénéité biais d'homogénéité · en : homogeneity bias ethics & society éthique et société : The tendency of an AI model to portray members of some social groups, particularly marginalized or socially subordinate groups, as more similar to one another and less individually varied than members of socially dominant groups. Tendance d'un modèle d'IA à représenter les membres de certains groupes sociaux, en particulier les groupes marginalisés ou socialement subordonnés, comme plus semblables entre eux et moins variés individuellement que les membres des groupes socialement dominants.
Key pointsL'essentiel
BiasBiais
enters every step of building a model, and English shows through even when a model writes directly in another language.
L' intervient à chaque étape de la construction d'un modèle, et l'anglais transparaît même quand un modèle écrit directement dans une autre langue.
linguistic hegemony · fr: hégémonie linguistique hégémonie linguistique · en : linguistic hegemony ethics & society éthique et société : The dominance of one language or a small group of languages in institutions, communication, and knowledge production, such that their use is treated as normal or more valuable while other languages receive less recognition, resources, or support. Domination d'une langue, ou d'un petit groupe de langues, dans les institutions, la communication et la production du savoir, telle que son usage est tenu pour normal ou plus valable tandis que les autres langues reçoivent moins de reconnaissance, de ressources ou de soutien.
Key pointsL'essentiel
BiasBiais
Cultural defaults are unmarked: current models lean toward the values of a few prosperous, mostly Western countries whatever their origin, and stating the audience and the culture helps more than switching the language.
Les choix culturels par défaut ne sont pas signalés : les modèles actuels penchent vers les valeurs de quelques pays riches, surtout occidentaux, quelle que soit leur origine, et préciser le public et la culture aide davantage que changer de langue.
Key pointsL'essentiel
BiasBiais
Correction tends to hide bias rather than remove it and can overshoot, and deciding what counts as right falls to a small group of people: the developer and its annotators.
La correction tend à masquer les biais plutôt qu'à les éliminer, et elle peut aller trop loin ; décider de ce qui est juste revient à un petit groupe de personnes, le développeur et ses annotateurs.
Page 1Page 1
What bias is, and where it comes fromCe qu'est un biais, et d'où il vient
- Bias shows as a pattern across answers: where a request leaves a choice open, a system tends to fill it in the same direction, for instance a nurse as a woman.
- The direction comes from frequencies in the text a system learned from, not from anyone's decision, and the same associations show in word embeddings.
- Un biais se manifeste comme une tendance dans les réponses : là où une demande laisse un choix ouvert, un système tend à le trancher toujours dans le même sens, par exemple en faisant d'une personne infirmière une femme.
- Ce sens vient des fréquences dans le texte dont le système a appris, et non d'une décision de qui que ce soit ; les mêmes associations se retrouvent dans les plongements lexicaux.
Page 1Page 1
Page 1Page 1
Page 1Page 1
Page 2Page 2
Bias in language modelsLes biais dans les modèles de langue
- learn from the same kind of text as translation tools and have the same associations, but they are not restricted to one answer, so they can set out the options instead of picking one.
- Bias is not only about gender: a name, which can also suggest an origin or an ethnicity, can change the answers a model gives, and larger models have not removed the problem.
- Les apprennent à partir du même genre de texte que les outils de traduction et présentent les mêmes associations, mais ils ne sont pas limités à une seule réponse : ils peuvent exposer les options au lieu d'en retenir une.
- Les biais ne se limitent pas au genre : un prénom, qui peut aussi évoquer une origine ou une ethnicité, peut changer les réponses d'un modèle, et les modèles plus grands n'ont pas réglé le problème.
language model (LM) · fr: modèle de langue modèle de langue · en : language model language models modèles de langue : A machine-learning model that estimates how likely different sequences of language are. Modèle d'apprentissage automatique qui estime la probabilité de différentes séquences de langue.
Page 2Page 2
Page 2Page 2
Page 2Page 2
Page 3Page 3
AmplificationL'amplification
- Models tend to sharpen the proportions in their training data, so that a majority in the data becomes a default in the output.
- Groups that were less represented tend to come out more uniform than they are, which is .
- Les modèles tendent à accentuer les proportions de leurs données d'entraînement, si bien qu'une majorité dans les données devient un choix par défaut dans la sortie.
- Les groupes moins représentés tendent à ressortir plus uniformes qu'ils ne le sont : c'est le .
homogeneity bias · fr: biais d'homogénéité biais d'homogénéité · en : homogeneity bias ethics & society éthique et société : The tendency of an AI model to portray members of some social groups, particularly marginalized or socially subordinate groups, as more similar to one another and less individually varied than members of socially dominant groups. Tendance d'un modèle d'IA à représenter les membres de certains groupes sociaux, en particulier les groupes marginalisés ou socialement subordonnés, comme plus semblables entre eux et moins variés individuellement que les membres des groupes socialement dominants.
Page 3Page 3
Page 4Page 4
Linguistic hegemonyL'hégémonie linguistique
- English dominates every step of building a language model: the training text, the tokenizer, the fine-tuning data, the safety training and the benchmarks that measure progress.
- The imbalances add up: other languages get weaker results at a higher cost, less safety and less reliable measurement.
- L'anglais domine chaque étape de la construction d'un modèle de langue : le texte d'entraînement, le segmenteur, les données d'affinage, l'entraînement à la sécurité et les tests de performances qui mesurent les progrès.
- Les déséquilibres s'additionnent : les autres langues obtiennent de moins bons résultats à un coût plus élevé, moins de sécurité et des mesures moins fiables.
Page 5Page 5
English in other languagesL'anglais dans les autres langues
- Working with a model in another language can feel like talking to a native speaker of English who has learned that language very well: fluent, but every now and then phrasing or referring to something in a way that does not quite fit.
- The impression is anthropomorphic, but studies of what happens inside open models support part of it, and the influence of English shows mostly in vocabulary and expressions, subtle enough to survive a quick read.
- Travailler avec un modèle dans une autre langue peut donner l'impression de parler à une personne de langue maternelle anglaise qui a très bien appris cette langue : le texte est fluide, mais de temps en temps une tournure ou une référence ne tombe pas tout à fait juste.
- Cette impression est anthropomorphique, mais les études sur ce qui se passe à l'intérieur des modèles ouverts en confirment une partie, et l'influence de l'anglais se voit surtout dans le vocabulaire et les expressions, assez discrète pour échapper à une lecture rapide.
Page 5Page 5
Page 6Page 6
Cultural defaultsLes choix culturels par défaut
- A request with no cultural specification gets one culture's answer, and the answer does not say so.
- Current models, wherever they were built, lean toward the values of a few prosperous, mostly Western countries, and what they say about other cultures can be closer to stereotypes than to what people there answer.
- Une demande qui ne précise aucune culture obtient la réponse d'une culture, et la réponse ne le dit pas.
- Les modèles actuels, où qu'ils aient été construits, penchent vers les valeurs de quelques pays riches, surtout occidentaux, et ce qu'ils disent des autres cultures peut être plus proche des stéréotypes que de ce que répondent les gens de ces pays.
Page 6Page 6
Page 6Page 6
Page 6Page 6
Page 6Page 6
Page 7Page 7
Steering toward a cultureOrienter les réponses vers une culture
- Asking in another language does not reliably move the answer to that language's culture. Saying which culture to answer for helps more, but not enough to remove the lean toward a few countries.
- When you ask a model to write for a particular audience, state the audience and the language variety, and check what the model filled in by default.
- Poser la question dans une autre langue ne déplace pas de façon fiable la réponse vers la culture de cette langue. Préciser pour quelle culture répondre aide davantage, mais pas assez pour effacer le penchant vers quelques pays.
- Quand vous demandez à un modèle d'écrire pour un public particulier, précisez ce public et la variété de langue, et vérifiez ce que le modèle a tranché par défaut.
Page 8Page 8
Correcting biasCorriger les biais
- Correction removes the most visible forms of bias, but it tends to hide the rest rather than remove it, and it can overshoot.
- The blunt, explicit forms of bias have become harder to find in what current chat models say, which is real progress.
- La correction élimine les formes les plus visibles de biais, mais elle tend à masquer le reste plutôt qu'à l'éliminer, et elle peut aller trop loin.
- Les formes grossières et explicites de biais sont devenues plus difficiles à trouver dans ce que disent les agents conversationnels actuels, ce qui est un vrai progrès.
Page 8Page 8
Page 8Page 8
Page 9Page 9
Who decides what is rightQui décide de ce qui est juste
- Correcting a model requires deciding what the right answer is, and that decision is made by a small group of people: the developer and the annotators it hires.
- The bias that remains lies mostly in a model's defaults, which you can steer by stating the audience and the culture, and check by comparing answers across groups.
- Corriger un modèle suppose de décider quelle est la bonne réponse, et cette décision revient à un petit groupe de personnes : le développeur et les annotateurs qu'il engage.
- Ce qui reste des biais se trouve surtout dans les choix par défaut d'un modèle, que vous pouvez orienter en précisant le public et la culture, et vérifier en comparant les réponses d'un groupe à l'autre.
Page 9Page 9
