We often expect technology to be objective, but AI can reproduce the same biases that exist in our society. From recruitment decisions to the information we see online, the data used to train AI and the choices made by its developers can influence its results. Where does this bias come from, how can it affect people’s lives and is it possible to eliminate it entirely? Explore seven perspectives on one of the biggest ethical challenges facing artificial intelligence.
BEFORE YOU READ...
If AI learns from our world, can it avoid learning our prejudices?
Imagine an AI system trained to select job candidates using data from a company that has historically hired mostly men. Could the system learn to favour similar candidates? What would need to change to make its recommendations fairer?
Explore Different Perspectives
Discover seven perspectives on the origins of AI bias, how it can reinforce existing inequalities and why defining fairness is not always straightforward.
Thomas Bolander — When AI learns from an unequal world: How bias enters hiring decisions
Biases are caused by… well it’s 2 things. This is how the algorithm is designed and then the data was trained on if it’s a trained algorithm. If it’s not a trained algorithm, if it’s not trained on data. If it’s programmed, well then someone programmed that bias into it. It could be that someone has a rule that says, if someone applies for a position and this person has the wrong colour or the wrong gender, then don’t even invite this person for an interview. That would be a discriminatory bias that was built directly into the rule. But I guess this is not what you think about and this is also usually not what we talk about when we talk about bias. And we talk about biases that we’re learned from the data that these systems were trained on and this is well again it’s caused by a combination of the training algorithm and the data but a lot of it comes from data. So let’s take this again, getting a job or like a screening job applications. If somehow the way we train a system is to try to predict who might get a job and so we only invite those points of you who are like you to get a job and if it’s then a workplace where let’s say 90% off of the employees are seeing you, or 90% are men or 90% are white or whatever. Then there’s a lot of somehow then the data is kind of skewed so it’s particular people and then the system will learn these patterns and it will reproduce the patterns. The big example is this compass model that they developed in the US where they looked at the recidivision risk, like what is the probability that a convict will commit new crime during parole, and this system ended up highly overrating black people and highly underestimating the risk of white people committing new crime. Of course this is also based on statistics. I think it’s 6 times more likely to be in prison or convicted for crime if you are a person of colour and this again has to do with some structural problems in society and some cultural historical things and this creates a bias because it means that if you use this system then to make future predictions or even take decisions about what to do with people and whether they should be permitted parole or not. Then that will be a biased position. So the bias comes from capturing and learning patterns and maybe somehow overrating the value of those patterns when it then comes with decisions or recommendations. And of course bias is natural, we humans are also biased. I think for humans this is kind of an availability bias, that we are biased by what we see and a model would usually assume that the world it’s only what it has seen there’s nothing else in the world than what the model has seen. If it has seen that all the people that were hired and accompanied are men, it will think that this is kind of the right, that this is a correct reproduction of how things are or how things should be.
Thomas Bolander, Denmark, AI expert (professor at DTU)
Læs på dansk (DK)
Bias opstår på grund af … ja, der er to ting. Det handler om, hvordan algoritmen er designet, og hvilke data den er trænet på, hvis det er en algoritme, der er blevet trænet. Hvis det ikke er en trænet algoritme, altså hvis den ikke er trænet på data, men derimod er programmeret, så er det nogen, der har programmeret denne bias ind i den. Det kunne for eksempel være, at nogen har lavet en regel, der siger, at hvis en person søger en stilling og har den forkerte hudfarve eller det forkerte køn, så skal vedkommende slet ikke inviteres til en jobsamtale. Det ville være en diskriminerende bias, som var bygget direkte ind i reglen. Men jeg tror ikke, det er den slags, du tænker på, og det er heller ikke normalt det, vi taler om, når vi taler om bias. Vi taler derimod om bias, som systemerne har lært fra de data, de er blevet trænet på. Og det skyldes igen en kombination af træningsalgoritmen og dataene, men en stor del kommer fra dataene. Lad os igen tage eksemplet med at få et job eller at sortere jobansøgninger. Hvis vi træner et system til at forsøge at forudsige, hvem der sandsynligvis vil få et job, og derfor kun inviterer de ansøgere, der ligner dem, som normalt får jobbet, og det så er en arbejdsplads, hvor for eksempel 90 % af medarbejderne er mænd, eller 90 % er hvide, eller hvad det nu måtte være, så bliver dataene skævvredet i retning af bestemte grupper. Systemet vil derefter lære disse mønstre og reproducere dem. Et vigtigt eksempel er COMPAS-modellen, som blev udviklet i USA til at vurdere risikoen for tilbagefald til kriminalitet, altså sandsynligheden for, at en dømt person begår en ny forbrydelse under prøveløsladelse. Dette system endte med i høj grad at overvurdere risikoen for sorte personer og undervurdere risikoen for, at hvide personer begår ny kriminalitet. Det bygger naturligvis også på statistik. Jeg mener, at sandsynligheden for at komme i fængsel eller blive dømt for en forbrydelse er seks gange højere, hvis man er en person med en anden hudfarve end hvid. Det hænger igen sammen med strukturelle problemer i samfundet og visse kulturelle og historiske forhold. Det skaber bias, fordi man, hvis man bruger systemet til at lave fremtidige forudsigelser eller ligefrem træffe beslutninger om, hvad der skal ske med mennesker, og om de skal have mulighed for prøveløsladelse eller ej, vil ende med en beslutning, der er præget af bias. Bias opstår altså ved, at systemet opfanger og lærer mønstre og måske tillægger disse mønstre for stor betydning, når det efterfølgende skal træffe beslutninger eller komme med anbefalinger. Og bias er selvfølgelig naturligt. Vi mennesker har også bias. Jeg tror, at det hos mennesker blandt andet handler om tilgængelighedsbias, hvor vi bliver påvirket af det, vi ser. En model vil typisk antage, at verden kun består af det, den selv har set, og at der ikke findes andet i verden end det, modellen har oplevet. Hvis den har set, at alle de personer, der blev ansat i en virksomhed, var mænd, vil den tro, at dette på en eller anden måde er det rigtige, og at det er en korrekt gengivelse af, hvordan tingene er, eller hvordan de bør være.Thomas Bolander, Danmark, AI-ekspert (professor ved DTU)
Auf Deutsch lesen (DE)
Verzerrungen entstehen durch … nun ja, es sind zwei Dinge. Zum einen geht es darum, wie der Algorithmus entwickelt wurde, und zum anderen um die Daten, mit denen er trainiert wurde, sofern es sich um einen trainierten Algorithmus handelt. Wenn es kein trainierter Algorithmus ist, also wenn er nicht anhand von Daten trainiert, sondern programmiert wurde, dann hat jemand diese Verzerrung in ihn hineinprogrammiert. Es könnte beispielsweise eine Regel geben, nach der eine Person, die sich auf eine Stelle bewirbt und die falsche Hautfarbe oder das falsche Geschlecht hat, nicht einmal zu einem Vorstellungsgespräch eingeladen wird. Das wäre eine diskriminierende Verzerrung, die direkt in die Regel eingebaut wurde. Aber ich vermute, dass du nicht daran denkst, und normalerweise meinen wir auch nicht diese Art von Verzerrung, wenn wir über Bias sprechen. Vielmehr sprechen wir über Verzerrungen, die aus den Daten gelernt wurden, mit denen diese Systeme trainiert wurden. Auch hier entstehen sie durch eine Kombination aus Trainingsalgorithmus und Daten, aber ein großer Teil geht auf die Daten zurück. Nehmen wir noch einmal das Beispiel der Jobsuche beziehungsweise der Vorauswahl von Bewerbungen. Wenn wir ein System so trainieren, dass es vorhersagen soll, wer wahrscheinlich eine Stelle bekommt, und deshalb nur diejenigen Bewerber zu Vorstellungsgesprächen einlädt, die den bisher eingestellten Personen ähneln, und wenn dann in einem Unternehmen beispielsweise 90 % der Beschäftigten Männer oder 90 % weiß sind oder Ähnliches, dann sind die Daten zugunsten bestimmter Personengruppen verzerrt. Das System lernt diese Muster und reproduziert sie anschließend. Ein bekanntes Beispiel ist das in den USA entwickelte COMPAS-Modell, mit dem das Rückfallrisiko von Straftätern bewertet wurde, also die Wahrscheinlichkeit, dass eine verurteilte Person während der Bewährungszeit erneut eine Straftat begeht. Dieses System überschätzte schließlich das Risiko bei schwarzen Menschen erheblich und unterschätzte gleichzeitig die Wahrscheinlichkeit, dass weiße Menschen erneut straffällig werden. Natürlich basiert auch dies auf statistischen Daten. Ich glaube, dass die Wahrscheinlichkeit, im Gefängnis zu landen oder wegen einer Straftat verurteilt zu werden, für People of Color sechsmal höher ist. Das hängt wiederum mit strukturellen Problemen in der Gesellschaft sowie mit bestimmten kulturellen und historischen Faktoren zusammen. Dadurch entsteht eine Verzerrung, denn wenn man ein solches System verwendet, um zukünftige Entwicklungen vorherzusagen oder sogar Entscheidungen darüber zu treffen, wie mit Menschen umgegangen werden soll und ob ihnen eine vorzeitige Entlassung auf Bewährung gewährt werden sollte, dann beruhen diese Entscheidungen auf einer verzerrten Grundlage. Bias entsteht also dadurch, dass Muster erkannt und gelernt werden und diesen Mustern möglicherweise ein zu hoher Stellenwert eingeräumt wird, wenn daraus Entscheidungen oder Empfehlungen abgeleitet werden. Und natürlich sind Verzerrungen etwas Natürliches. Auch wir Menschen haben Vorurteile und kognitive Verzerrungen. Ich denke, beim Menschen handelt es sich dabei teilweise um die sogenannte Verfügbarkeitsheuristik: Wir werden von dem beeinflusst, was wir sehen. Ein Modell geht normalerweise davon aus, dass die Welt nur aus dem besteht, was es selbst gesehen hat, und dass außerhalb seiner bisherigen Beobachtungen nichts anderes existiert. Wenn es ausschließlich Männer unter den eingestellten Mitarbeitern eines Unternehmens gesehen hat, wird es annehmen, dass dies gewissermaßen richtig ist und eine korrekte Darstellung davon, wie die Dinge sind oder sein sollten.Thomas Bolander, Dänemark, KI-Experte (Professor an der DTU)
Leer en español (ES)
Los sesgos se producen por… bueno, por dos cosas. Una es cómo se ha diseñado el algoritmo y la otra son los datos con los que se ha entrenado, si se trata de un algoritmo entrenado. Si no es un algoritmo entrenado, es decir, si no se ha entrenado con datos, sino que se ha programado, entonces alguien ha introducido ese sesgo directamente en su programación. Por ejemplo, alguien podría establecer una regla que dijera que, si una persona solicita un puesto de trabajo y tiene el color de piel o el género equivocado, ni siquiera se la invite a una entrevista. Eso sería un sesgo discriminatorio incorporado directamente a la regla. Pero supongo que no es eso en lo que estás pensando y tampoco es lo que solemos tratar cuando hablamos de sesgos. Normalmente hablamos de los sesgos que los sistemas aprenden a partir de los datos con los que han sido entrenados. Y esto, de nuevo, se debe a una combinación del algoritmo de entrenamiento y los datos, aunque gran parte del problema procede de estos últimos. Volvamos al ejemplo de conseguir un empleo o de seleccionar solicitudes de trabajo. Si entrenamos un sistema para intentar predecir quién podría conseguir un puesto y, por tanto, solo invitamos a entrevistas a quienes se parecen a las personas que suelen ser contratadas, y resulta que en una empresa, por ejemplo, el 90 % de los empleados son hombres, o el 90 % son blancos, o cualquier otra característica, entonces los datos estarán sesgados hacia determinados grupos de personas. El sistema aprenderá esos patrones y los reproducirá. Un ejemplo importante es el modelo COMPAS, desarrollado en Estados Unidos para evaluar el riesgo de reincidencia, es decir, la probabilidad de que una persona condenada vuelva a cometer un delito durante su libertad condicional. Este sistema terminó sobreestimando considerablemente el riesgo de reincidencia de las personas negras y subestimando el riesgo de que las personas blancas cometieran nuevos delitos. Por supuesto, esto también se basa en estadísticas. Creo que las personas racializadas tienen seis veces más probabilidades de acabar en prisión o de ser condenadas por un delito. Y esto, a su vez, está relacionado con ciertos problemas estructurales de la sociedad y con factores culturales e históricos. Esto genera un sesgo porque, si utilizas ese sistema para realizar predicciones futuras o incluso para tomar decisiones sobre qué hacer con determinadas personas y si deberían obtener la libertad condicional o no, esas decisiones estarán sesgadas. Por tanto, el sesgo surge al identificar y aprender patrones y, posiblemente, al darles una importancia excesiva cuando llega el momento de tomar decisiones o formular recomendaciones. Y, por supuesto, los sesgos son naturales. Los seres humanos también tenemos sesgos. Creo que, en nuestro caso, se trata en parte del llamado sesgo de disponibilidad, por el que nos dejamos influir por aquello que vemos. Un modelo normalmente asumirá que el mundo se limita a lo que ha visto, que no existe nada más allá de aquello que conoce. Si ha observado que todas las personas contratadas en una empresa son hombres, pensará que eso es, de alguna manera, lo correcto, que representa adecuadamente cómo son las cosas o cómo deberían ser.Thomas Bolander, Dinamarca, experto en IA (profesor en la DTU)
Прочетете на български (BG)
Пристрастията възникват поради… ами, две неща. Едното е начинът, по който е проектиран алгоритъмът, а другото са данните, върху които е обучен, ако става въпрос за обучаван алгоритъм. Ако алгоритъмът не е обучен върху данни, а е програмиран, тогава някой е заложил това пристрастие директно в програмата му. Например може да има правило, според което, ако човек кандидатства за работа и е с „неподходящия“ цвят на кожата или пол, той изобщо да не бъде поканен на интервю. Това би било дискриминационно пристрастие, заложено директно в правилото. Но предполагам, че не това имате предвид, а и обикновено не говорим за подобни случаи, когато обсъждаме пристрастията. По-често говорим за пристрастията, които системите са научили от данните, върху които са обучавани. И тук причината отново е комбинация от алгоритъма за обучение и самите данни, но голяма част от проблема идва именно от данните. Нека отново вземем примера с намирането на работа или предварителния подбор на кандидатури. Ако обучим система да предсказва кой вероятно ще получи дадена работа и затова каним на интервю само кандидати, които приличат на хората, които обикновено биват наемани, а в дадена компания например 90% от служителите са мъже или 90% са бели, или имат някаква друга обща характеристика, тогава данните ще бъдат изкривени в полза на определени групи хора. Системата ще научи тези закономерности и ще ги възпроизвежда. Важен пример е моделът COMPAS, разработен в Съединените щати за оценка на риска от повторно извършване на престъпление, тоест вероятността осъден човек да извърши ново престъпление, докато е условно освободен. Тази система в крайна сметка значително надценява риска при чернокожите хора и силно подценява вероятността белите хора да извършат ново престъпление. Разбира се, това също се основава на статистически данни. Мисля, че вероятността човек с различен от белия цвят на кожата да попадне в затвора или да бъде осъден за престъпление е шест пъти по-висока. Това от своя страна е свързано с определени структурни проблеми в обществото, както и с културни и исторически фактори. Така възниква пристрастие, защото ако използвате подобна система за бъдещи прогнози или дори за вземане на решения относно това как да се постъпва с хората и дали трябва да им бъде разрешено условно освобождаване, тези решения ще бъдат повлияни от пристрастия. Следователно пристрастията възникват, когато системата открива и научава определени закономерности и може би им придава прекалено голяма тежест, когато впоследствие трябва да взема решения или да дава препоръки. Разбира се, пристрастията са нещо естествено. Ние, хората, също имаме пристрастия. Мисля, че при хората това отчасти е свързано с така нареченото пристрастие на достъпността, при което се влияем от това, което виждаме. Един модел обикновено приема, че светът се състои единствено от това, което е наблюдавал, и че извън видяното от него не съществува нищо друго. Ако е видял, че всички хора, наети в дадена компания, са мъже, той ще приеме, че това по някакъв начин е правилно и че представлява вярно отражение на начина, по който стоят нещата или по който би трябвало да бъдат.Thomas Bolander, Дания, експерт по изкуствен интелект (професор в DTU)
Unai Chasco — Biased data and human decisions: Where AI prejudice begins
The proper functioning of any artificial intelligence system depends on the quality of the information or data used to train the model. This also means that the AI system may reproduce or amplify biases present in that information, which can significantly influence the responses it provides to user queries. For example, if the information used to train the AI model incorrectly states that America was discovered in 1600, the system will reproduce this incorrect information every time a user asks a question about it. Furthermore, the interests of those who develop or finance these systems also come into play, since the selection and treatment of training data may be conditioned by ideological, economic, or political criteria. It cannot be explicitly stated that biases can be completely eliminated in an artificial intelligence system; however, models can be trained to be as objective as possible within the constraints of the system.
Unai Chasco, Spain, student in Cybersecurity, expert of AI
Læs på dansk (DK)
Et velfungerende system med kunstig intelligens afhænger af kvaliteten af de oplysninger eller data, der bruges til at træne modellen. Det betyder også, at AI-systemet kan reproducere eller forstærke de skævheder, der findes i disse oplysninger, hvilket kan have betydelig indflydelse på de svar, det giver på brugernes spørgsmål. Hvis de oplysninger, der bruges til at træne en AI-model, for eksempel fejlagtigt angiver, at Amerika blev opdaget i år 1600, vil systemet gentage denne forkerte oplysning, hver gang en bruger stiller et spørgsmål om emnet. Derudover spiller interesserne hos dem, der udvikler eller finansierer disse systemer, også en rolle, da udvælgelsen og behandlingen af træningsdata kan være påvirket af ideologiske, økonomiske eller politiske kriterier. Man kan ikke kategorisk fastslå, at skævheder kan fjernes fuldstændigt fra et system med kunstig intelligens. Modeller kan dog trænes til at være så objektive som muligt inden for systemets begrænsninger.Unai Chasco, Spanien, studerende inden for cybersikkerhed, AI-ekspert
Auf Deutsch lesen (DE)
Die ordnungsgemäße Funktionsweise eines Systems der künstlichen Intelligenz hängt von der Qualität der Informationen oder Daten ab, die zum Trainieren des Modells verwendet werden. Das bedeutet auch, dass das KI-System Verzerrungen, die in diesen Informationen enthalten sind, reproduzieren oder verstärken kann, was die Antworten auf Nutzeranfragen erheblich beeinflussen kann. Wenn beispielsweise in den Trainingsdaten eines KI-Modells fälschlicherweise angegeben wird, dass Amerika im Jahr 1600 entdeckt wurde, wird das System diese falsche Information jedes Mal wiedergeben, wenn ein Nutzer eine entsprechende Frage stellt. Darüber hinaus spielen auch die Interessen derjenigen eine Rolle, die diese Systeme entwickeln oder finanzieren, da die Auswahl und Verarbeitung der Trainingsdaten durch ideologische, wirtschaftliche oder politische Kriterien beeinflusst werden kann. Es lässt sich nicht eindeutig behaupten, dass Verzerrungen in einem System der künstlichen Intelligenz vollständig beseitigt werden können. Allerdings können Modelle so trainiert werden, dass sie innerhalb der Grenzen des jeweiligen Systems möglichst objektiv sind.Unai Chasco, Spanien, Student im Bereich Cybersicherheit, KI-Experte
Leer en español (ES)
El correcto funcionamiento de cualquier sistema de inteligencia artificial depende de la calidad de la información o los datos utilizados para entrenar el modelo. Esto también significa que el sistema de IA puede reproducir o amplificar los sesgos presentes en esa información, lo que puede influir significativamente en las respuestas que proporciona a las consultas de los usuarios. Por ejemplo, si la información utilizada para entrenar el modelo de IA indica erróneamente que América fue descubierta en el año 1600, el sistema reproducirá esa información incorrecta cada vez que un usuario haga una pregunta al respecto. Además, también entran en juego los intereses de quienes desarrollan o financian estos sistemas, ya que la selección y el tratamiento de los datos de entrenamiento pueden estar condicionados por criterios ideológicos, económicos o políticos. No se puede afirmar categóricamente que los sesgos puedan eliminarse por completo de un sistema de inteligencia artificial; sin embargo, los modelos pueden entrenarse para que sean lo más objetivos posible dentro de las limitaciones del sistema.Unai Chasco, España, estudiante de Ciberseguridad, experto en IA
Прочетете на български (BG)
Правилното функциониране на всяка система с изкуствен интелект зависи от качеството на информацията или данните, използвани за обучението на модела. Това означава също, че системата с ИИ може да възпроизвежда или засилва пристрастията, присъстващи в тази информация, което може значително да повлияе на отговорите, които предоставя на потребителските запитвания. Например, ако информацията, използвана за обучението на модел с ИИ, погрешно посочва, че Америка е открита през 1600 г., системата ще възпроизвежда тази невярна информация всеки път, когато потребител зададе въпрос по темата. Освен това значение имат и интересите на онези, които разработват или финансират тези системи, тъй като подборът и обработката на данните за обучение могат да бъдат повлияни от идеологически, икономически или политически критерии. Не може категорично да се твърди, че пристрастията могат да бъдат напълно премахнати от система с изкуствен интелект. Въпреки това моделите могат да бъдат обучавани така, че да бъдат възможно най-обективни в рамките на ограниченията на системата.Unai Chasco, Испания, студент по киберсигурност, експерт по изкуствен интелект
Ibai Martinez — The billionaire example: How choosing the wrong data distorts AI
From my technical point of view, bias in AI is inevitable. To train artificial intelligence – that is, to get it to go from processing simple numerical data to generating something that a human can interpret, such as words or classifications- it is necessary to use large volumes of data. The root problem is that this data must be selected in advance, and the simple act of choosing to use some data and discarding others already introduces, by definition, a bias into the model.
A very graphic example would be trying to create an AI that estimates a person’s income based solely on their age. If we use only data from the 1,000 richest people in the world to train that model, the AI will learn a distorted reality. If we then go out into the street and apply that model to any average citizen, it will fail miserably, because its ‘worldview’ is biased toward billionaires.
Therefore, eliminating bias 100%, because the source data is generated by humans who already have biases. However, we can reduce it. Users have a key role to play here. Especially in LLMs: tools as simple as the “like” or “dislike” button on a response help to retrain the model and correct these deviations little by little.
Ibai Martinez, Spain, Artificial Intelligence student at the University of the Basque Country (UPV/EHU)
Læs på dansk (DK)
Fra et teknisk synspunkt mener jeg, at bias i AI er uundgåelig. For at træne kunstig intelligens – altså få den til at gå fra at behandle simple numeriske data til at generere noget, som et menneske kan fortolke, såsom ord eller klassifikationer – er det nødvendigt at bruge store mængder data. Det grundlæggende problem er, at disse data skal udvælges på forhånd, og alene det at vælge nogle data til og fravælge andre indfører per definition en bias i modellen. Et meget illustrativt eksempel ville være at forsøge at udvikle en AI, der estimerer en persons indkomst udelukkende ud fra vedkommendes alder. Hvis vi kun bruger data fra verdens 1.000 rigeste mennesker til at træne modellen, vil AI’en lære et forvrænget billede af virkeligheden. Hvis vi derefter går ud på gaden og anvender modellen på en gennemsnitlig borger, vil den fejle fuldstændigt, fordi dens “verdensbillede” er præget af milliardærer. Derfor er det ikke muligt at fjerne bias 100 %, fordi de oprindelige data er skabt af mennesker, som allerede har deres egne bias. Vi kan dog reducere den. Brugerne spiller en vigtig rolle i den forbindelse, især når det gælder store sprogmodeller (LLM’er). Så enkle værktøjer som knapperne “synes godt om” og “synes ikke godt om” ved et svar hjælper med at genoptræne modellen og gradvist korrigere disse skævheder.Ibai Martinez, Spanien, studerende i kunstig intelligens ved Baskerlandets Universitet (UPV/EHU)
Auf Deutsch lesen (DE)
Aus meiner technischen Sicht sind Verzerrungen in der KI unvermeidlich. Um künstliche Intelligenz zu trainieren – also sie dazu zu bringen, von der Verarbeitung einfacher numerischer Daten zur Erzeugung von etwas überzugehen, das Menschen interpretieren können, wie Wörter oder Klassifizierungen –, müssen große Datenmengen verwendet werden. Das grundlegende Problem besteht darin, dass diese Daten im Voraus ausgewählt werden müssen. Schon die Entscheidung, bestimmte Daten zu verwenden und andere auszuschließen, führt definitionsgemäß zu einer Verzerrung im Modell. Ein sehr anschauliches Beispiel wäre der Versuch, eine KI zu entwickeln, die das Einkommen einer Person ausschließlich anhand ihres Alters schätzt. Wenn wir für das Training dieses Modells nur Daten der 1.000 reichsten Menschen der Welt verwenden, wird die KI ein verzerrtes Bild der Realität erlernen. Wenn wir anschließend auf die Straße gehen und dieses Modell auf einen durchschnittlichen Bürger anwenden, wird es kläglich scheitern, weil sein „Weltbild“ auf Milliardäre ausgerichtet ist. Deshalb ist es nicht möglich, Verzerrungen zu 100 % zu beseitigen, da die zugrunde liegenden Daten von Menschen erzeugt werden, die selbst bereits Vorurteile und Verzerrungen haben. Wir können sie jedoch reduzieren. Dabei spielen die Nutzer eine entscheidende Rolle, insbesondere bei großen Sprachmodellen (LLMs). Schon so einfache Funktionen wie die Schaltflächen „Gefällt mir“ oder „Gefällt mir nicht“ bei einer Antwort helfen dabei, das Modell weiter zu trainieren und diese Abweichungen nach und nach zu korrigieren.Ibai Martinez, Spanien, Student der künstlichen Intelligenz an der Universität des Baskenlandes (UPV/EHU)
Leer en español (ES)
Desde mi punto de vista técnico, los sesgos en la IA son inevitables. Para entrenar una inteligencia artificial, es decir, conseguir que pase de procesar simples datos numéricos a generar algo que una persona pueda interpretar, como palabras o clasificaciones, es necesario utilizar grandes volúmenes de datos. El problema de fondo es que esos datos deben seleccionarse previamente, y el simple hecho de elegir unos y descartar otros ya introduce, por definición, un sesgo en el modelo. Un ejemplo muy gráfico sería intentar crear una IA que estime los ingresos de una persona basándose únicamente en su edad. Si utilizamos exclusivamente datos de las 1.000 personas más ricas del mundo para entrenar ese modelo, la IA aprenderá una realidad distorsionada. Si después salimos a la calle y aplicamos ese modelo a cualquier ciudadano medio, fracasará estrepitosamente, porque su «visión del mundo» estará sesgada hacia los multimillonarios. Por tanto, no es posible eliminar los sesgos al 100 %, porque los datos de origen son generados por seres humanos que ya tienen sus propios sesgos. Sin embargo, sí podemos reducirlos. Los usuarios desempeñan un papel fundamental en este proceso, especialmente en los modelos de lenguaje de gran tamaño (LLM). Herramientas tan sencillas como los botones de «me gusta» o «no me gusta» en una respuesta ayudan a volver a entrenar el modelo y a corregir poco a poco estas desviaciones.Ibai Martinez, España, estudiante de Inteligencia Artificial en la Universidad del País Vasco (UPV/EHU)
Прочетете на български (BG)
От техническа гледна точка смятам, че пристрастията в изкуствения интелект са неизбежни. За да обучим изкуствен интелект – тоест да го накараме да премине от обработване на прости числови данни към генериране на нещо, което човек може да интерпретира, като думи или класификации – е необходимо да използваме големи обеми данни. Основният проблем е, че тези данни трябва да бъдат подбрани предварително, а самият акт на избиране на едни данни и отхвърляне на други по определение вече въвежда пристрастие в модела. Много показателен пример би бил опитът да създадем ИИ, който оценява доходите на човек единствено въз основа на възрастта му. Ако използваме само данни за 1000-те най-богати хора в света, за да обучим този модел, ИИ ще усвои изкривена представа за реалността. Ако след това излезем на улицата и приложим модела към обикновен гражданин, той ще се провали напълно, защото неговият „мироглед“ е пристрастен към милиардерите. Следователно не е възможно да премахнем пристрастията на 100%, тъй като първоначалните данни са създадени от хора, които самите имат пристрастия. Въпреки това можем да ги намалим. Потребителите имат ключова роля в този процес, особено при големите езикови модели (LLM). Дори толкова прости инструменти като бутоните „харесвам“ и „не харесвам“ под даден отговор помагат за допълнителното обучение на модела и за постепенното коригиране на тези отклонения.Ibai Martinez, Испания, студент по изкуствен интелект в Университета на Страната на баските (UPV/EHU)
Mark Victor William — AI reflects its sources: Why eliminating bias is so difficult
Bias from AI systems comes straight from the data it uses—if the AI gets correct, accurate, and credible data, the output won’t be biased at all. That data comes from humans, like when you give it a prompt with wrong info that sneaks in your own assumptions or mistakes, or when the AI searches the web and grabs junk from shady sites full of rumors or one-sided views. These sources taint the results because AI just mirrors whatever patterns it finds, good or bad. Eliminating bias completely? Impossible, because even humans are biased—we all carry opinions, experiences, and blind spots from our backgrounds—so expecting perfect AI is a pipe dream that ignores reality. No matter how clean you try to make the data, human input or imperfect web info will always creep in somewhere down the line. The best we can do is get smarter about checking sources upfront and questioning outputs, but total perfection just isn’t happening. It’s like trying to make humans unbiased; it won’t work, so we adapt instead.
Mark Victor William, Denmark, Master’s student in Marketing and Sales at Aalborg University, AI Enthusiast
Læs på dansk (DK)
Bias i AI-systemer stammer direkte fra de data, de bruger. Hvis AI’en får korrekte, præcise og troværdige data, vil resultatet slet ikke være præget af bias. Disse data kommer fra mennesker, for eksempel når man giver AI’en en prompt med forkerte oplysninger, hvor ens egne antagelser eller fejl sniger sig med ind, eller når AI’en søger på internettet og henter upålideligt indhold fra tvivlsomme hjemmesider fyldt med rygter eller ensidige synspunkter. Disse kilder påvirker resultaterne negativt, fordi AI blot afspejler de mønstre, den finder, uanset om de er gode eller dårlige. Kan man fjerne bias fuldstændigt? Det er umuligt, fordi selv mennesker har bias. Vi har alle holdninger, erfaringer og blinde vinkler, der stammer fra vores baggrund. Derfor er det en urealistisk drøm at forvente en perfekt AI, som ignorerer virkelighedens begrænsninger. Uanset hvor meget man forsøger at rense dataene, vil menneskelige input eller mangelfulde oplysninger fra internettet altid kunne snige sig ind på et tidspunkt. Det bedste, vi kan gøre, er at blive bedre til at kontrollere kilderne på forhånd og stille spørgsmålstegn ved resultaterne, men fuldstændig perfektion bliver aldrig en realitet. Det svarer til at forsøge at gøre mennesker helt fri for bias. Det kommer ikke til at lykkes, så i stedet må vi tilpasse os.Mark Victor William, Danmark, kandidatstuderende i marketing og salg ved Aalborg Universitet, AI-entusiast
Auf Deutsch lesen (DE)
Verzerrungen in KI-Systemen entstehen unmittelbar durch die Daten, die sie verwenden. Wenn eine KI korrekte, genaue und glaubwürdige Daten erhält, werden ihre Ergebnisse überhaupt nicht verzerrt sein. Diese Daten stammen von Menschen, beispielsweise wenn man der KI einen Prompt mit falschen Informationen gibt, in den sich die eigenen Annahmen oder Fehler einschleichen, oder wenn die KI im Internet recherchiert und unzuverlässige Inhalte von dubiosen Websites voller Gerüchte oder einseitiger Ansichten übernimmt. Solche Quellen verfälschen die Ergebnisse, weil die KI lediglich die Muster widerspiegelt, die sie findet, unabhängig davon, ob diese gut oder schlecht sind. Kann man Verzerrungen vollständig beseitigen? Unmöglich, denn selbst Menschen sind voreingenommen. Wir alle haben Meinungen, Erfahrungen und blinde Flecken, die durch unseren Hintergrund geprägt sind. Deshalb ist die Erwartung einer perfekten KI ein unrealistischer Wunschtraum, der die Wirklichkeit außer Acht lässt. Egal, wie sorgfältig man versucht, die Daten zu bereinigen, menschliche Einflüsse oder unvollkommene Informationen aus dem Internet werden sich früher oder später immer einschleichen. Das Beste, was wir tun können, ist, Quellen von Anfang an sorgfältiger zu überprüfen und die Ergebnisse kritisch zu hinterfragen. Vollkommene Perfektion wird es jedoch nicht geben. Es ist, als würde man versuchen, Menschen vollständig von Vorurteilen zu befreien. Das wird nicht funktionieren, also müssen wir uns stattdessen anpassen.Mark Victor William, Dänemark, Masterstudent im Bereich Marketing und Vertrieb an der Universität Aalborg, KI-Enthusiast
Leer en español (ES)
Los sesgos de los sistemas de IA proceden directamente de los datos que utilizan. Si la IA recibe datos correctos, precisos y fiables, sus resultados no estarán sesgados en absoluto. Esos datos proceden de los seres humanos, por ejemplo, cuando le proporcionas una instrucción con información incorrecta en la que se cuelan tus propias suposiciones o errores, o cuando la IA busca en internet y recoge contenido poco fiable de páginas web sospechosas, llenas de rumores o puntos de vista parciales. Estas fuentes contaminan los resultados porque la IA simplemente reproduce los patrones que encuentra, sean buenos o malos. ¿Eliminar completamente los sesgos? Imposible, porque incluso los seres humanos tenemos sesgos. Todos arrastramos opiniones, experiencias y puntos ciegos derivados de nuestro entorno y nuestras vivencias. Por eso, esperar una IA perfecta es una fantasía que ignora la realidad. Por mucho que intentemos depurar los datos, las aportaciones humanas o la información imperfecta de internet siempre acabarán introduciéndose en alguna fase del proceso. Lo mejor que podemos hacer es aprender a comprobar las fuentes desde el principio y cuestionar los resultados, pero alcanzar la perfección absoluta sencillamente no va a ocurrir. Es como intentar conseguir que los seres humanos no tengan ningún sesgo: no funcionará, así que debemos adaptarnos.Mark Victor William, Dinamarca, estudiante de máster en Marketing y Ventas en la Universidad de Aalborg, entusiasta de la IA
Прочетете на български (BG)
Пристрастията в системите с изкуствен интелект произтичат пряко от данните, които те използват. Ако ИИ получава правилни, точни и достоверни данни, резултатите му изобщо няма да бъдат пристрастни. Тези данни идват от хората, например когато подадете на ИИ заявка с невярна информация, в която неусетно са включени собствените ви предположения или грешки, или когато ИИ търси в интернет и извлича ненадеждно съдържание от съмнителни сайтове, пълни със слухове или едностранчиви мнения. Подобни източници изкривяват резултатите, защото ИИ просто възпроизвежда закономерностите, които открива, независимо дали са добри или лоши. Възможно ли е пристрастията да бъдат напълно премахнати? Невъзможно е, защото дори хората имат пристрастия. Всички ние носим със себе си мнения, преживявания и слепи петна, породени от нашия произход и житейски опит. Затова очакването за съвършен ИИ е нереалистична мечта, която пренебрегва действителността. Колкото и старателно да се опитваме да пречистим данните, човешкото влияние или неточната информация от интернет винаги ще намерят начин да се промъкнат на някакъв етап. Най-доброто, което можем да направим, е да се научим да проверяваме източниците по-внимателно още в началото и да подлагаме резултатите на критична оценка. Но пълното съвършенство просто няма да бъде постигнато. Това е като да се опитваме да направим хората напълно свободни от пристрастия. Няма да се получи, затова вместо това трябва да се приспособим.Mark Victor William, Дания, магистърски студент по маркетинг и продажби в Университета в Олборг, ентусиаст в областта на изкуствения интелект
Kerstin Koch-Pernitsch — A cycle of prejudice: How AI can reinforce existing biases
It has been proven that AI systems are increasingly causing distortions. It can be observed that false assumptions, misguided conclusions and prejudices are occurring more and more frequently and are intensifying. The background that is assumed to be the cause of this development and distortion of the content presented is that AI systems are based to a large extent on probabilities in their way of working. This results in more and more false statements. In addition, texts that are used by AI-based systems are used as a source for them. This vicious circle, which is quite problematic, leads to an ever-faster development, which promotes the distortions just mentioned and makes meaningful research is more difficult.
Something similar happens when it comes to prejudices. In general, prejudices are to be classified as critical when it comes to social developments. Technical innovations, such as social media platforms in recent years and now increasingly AI systems, have already resulted in a development that promotes prejudices and platitudes instead of eliminating or refuting them. This can lead to serious problems for social developments. In particular, the education system, whose task it is to educate about generalized opinions, which are ultimately the basis for prejudices, faces the challenge that the frequent use of AI systems reinforces prejudices through the above-mentioned mechanism and does not eliminate them. The development of regulations that counteract this is urgently needed.
Mag. Kerstin Koch-Pernitsch, MA, Austria, AI Educator
Læs på dansk (DK)
Det er blevet påvist, at AI-systemer i stigende grad medfører forvrængninger. Man kan observere, at fejlagtige antagelser, misvisende konklusioner og fordomme optræder stadig hyppigere og bliver mere udtalte. Den formodede årsag til denne udvikling og forvrængning af det præsenterede indhold er, at AI-systemer i høj grad baserer deres funktion på sandsynligheder. Dette fører til stadig flere falske udsagn. Desuden bliver tekster, som anvendes af AI-baserede systemer, også brugt som kilder af disse systemer. Denne problematiske onde cirkel fører til en stadig hurtigere udvikling, som forstærker de nævnte forvrængninger og gør det vanskeligere at udføre meningsfuld forskning. Et lignende fænomen gør sig gældende, når det handler om fordomme. Generelt må fordomme betragtes som et alvorligt problem i forbindelse med samfundsudviklingen. Tekniske innovationer, såsom sociale medieplatforme i de seneste år og nu i stigende grad AI-systemer, har allerede medført en udvikling, der fremmer fordomme og overfladiske generaliseringer i stedet for at eliminere eller tilbagevise dem. Dette kan føre til alvorlige problemer for samfundsudviklingen. Uddannelsessystemet har især en udfordring, fordi dets opgave er at lære mennesker at forholde sig kritisk til generaliserede opfattelser, som i sidste ende danner grundlag for fordomme. Den hyppige brug af AI-systemer risikerer gennem den ovenfor beskrevne mekanisme at forstærke fordomme i stedet for at fjerne dem. Det er derfor presserende nødvendigt at udvikle regler, der modvirker denne udvikling.Mag. Kerstin Koch-Pernitsch, MA, Østrig, AI-underviser
Auf Deutsch lesen (DE)
Es ist nachgewiesen worden, dass KI-Systeme zunehmend Verzerrungen verursachen. Es lässt sich beobachten, dass falsche Annahmen, irreführende Schlussfolgerungen und Vorurteile immer häufiger auftreten und sich verstärken. Als vermutete Ursache für diese Entwicklung und die Verzerrung der dargestellten Inhalte gilt, dass KI-Systeme bei ihrer Funktionsweise in hohem Maße auf Wahrscheinlichkeiten beruhen. Dies führt dazu, dass immer mehr falsche Aussagen entstehen. Darüber hinaus werden Texte, die von KI-basierten Systemen verwendet werden, wiederum als Quellen für diese Systeme genutzt. Dieser problematische Teufelskreis führt zu einer immer schnelleren Entwicklung, die die genannten Verzerrungen verstärkt und sinnvolle Forschung erschwert. Etwas Ähnliches geschieht im Zusammenhang mit Vorurteilen. Vorurteile sind grundsätzlich als kritischer Faktor für die gesellschaftliche Entwicklung einzustufen. Technische Innovationen wie soziale Medien in den vergangenen Jahren und nun zunehmend auch KI-Systeme haben bereits eine Entwicklung begünstigt, die Vorurteile und oberflächliche Verallgemeinerungen fördert, anstatt sie abzubauen oder zu widerlegen. Dies kann zu ernsthaften Problemen für die gesellschaftliche Entwicklung führen. Insbesondere das Bildungssystem, dessen Aufgabe es ist, über verallgemeinerte Meinungen aufzuklären, die letztlich die Grundlage für Vorurteile bilden, steht vor der Herausforderung, dass die häufige Nutzung von KI-Systemen Vorurteile durch den oben beschriebenen Mechanismus verstärkt, anstatt sie zu beseitigen. Die Entwicklung von Regelungen, die dieser Entwicklung entgegenwirken, ist dringend erforderlich.Mag. Kerstin Koch-Pernitsch, MA, Österreich, KI-Pädagogin
Leer en español (ES)
Se ha demostrado que los sistemas de IA están provocando cada vez más distorsiones. Se observa que las suposiciones falsas, las conclusiones erróneas y los prejuicios aparecen con mayor frecuencia y se intensifican. La causa que se atribuye a esta evolución y a la distorsión del contenido presentado es que los sistemas de IA basan gran parte de su funcionamiento en probabilidades. Esto da lugar a un número cada vez mayor de afirmaciones falsas. Además, los textos utilizados por los sistemas basados en IA también se emplean como fuentes para estos mismos sistemas. Este círculo vicioso, que resulta bastante problemático, conduce a un desarrollo cada vez más rápido que fomenta las distorsiones mencionadas y dificulta la investigación rigurosa y significativa. Algo similar ocurre con los prejuicios. En general, los prejuicios deben considerarse un factor crítico en lo que respecta a la evolución de la sociedad. Las innovaciones tecnológicas, como las plataformas de redes sociales en los últimos años y, ahora cada vez más, los sistemas de IA, ya han propiciado una evolución que fomenta los prejuicios y las generalizaciones superficiales en lugar de eliminarlos o refutarlos. Esto puede provocar graves problemas para el desarrollo social. En particular, el sistema educativo, cuya función es enseñar a cuestionar las opiniones generalizadas que, en última instancia, constituyen la base de los prejuicios, se enfrenta al reto de que el uso frecuente de sistemas de IA refuerza esos prejuicios mediante el mecanismo descrito anteriormente, en lugar de eliminarlos. Es urgente desarrollar normativas que contrarresten esta tendencia.Mag. Kerstin Koch-Pernitsch, MA, Austria, educadora en IA
Прочетете на български (BG)
Доказано е, че системите с изкуствен интелект все по-често водят до изкривявания. Наблюдава се, че погрешните предположения, подвеждащите заключения и предразсъдъците се появяват все по-често и се засилват. Предполагаемата причина за това развитие и изкривяването на представеното съдържание е, че системите с ИИ до голяма степен се основават на вероятности в начина си на работа. Това води до все повече неверни твърдения. Освен това текстовете, използвани от системите, базирани на ИИ, впоследствие също се използват като източници за тези системи. Този доста проблематичен порочен кръг води до все по-бързо развитие, което засилва вече споменатите изкривявания и затруднява провеждането на смислени научни изследвания. Нещо подобно се случва и когато става въпрос за предразсъдъци. По принцип предразсъдъците трябва да се разглеждат като критичен фактор за развитието на обществото. Техническите иновации, като социалните медийни платформи през последните години, а сега и все по-често системите с ИИ, вече доведоха до развитие, което насърчава предразсъдъците и повърхностните обобщения, вместо да ги премахва или опровергава. Това може да доведе до сериозни проблеми за общественото развитие. По-специално образователната система, чиято задача е да разяснява и поставя под въпрос обобщените мнения, които в крайна сметка са в основата на предразсъдъците, е изправена пред предизвикателството, че честото използване на системи с ИИ засилва предразсъдъците чрез описания по-горе механизъм, вместо да ги премахва. Спешно е необходимо разработването на правила, които да противодействат на тази тенденция.Mag. Kerstin Koch-Pernitsch, MA, Австрия, преподавател по изкуствен интелект
Juan Agustin Veliz — Who decides what's biased? The challenge of defining fairness
I think that is hard to answer, based on the fact that “bias” tends to pair with one’s subjectivity. Who will judge what bias is? Most likely a human, which, in turn, has an empirical bias of their own.
To eliminate bias would be like expecting 100% of humans to agree on one topic in particular, how likely does that sound? That said, if one narrows down a scope enough, we can “bias” (or de-bias) the models to behave in a particular manner that we happen to agree on, but we can’t expect it to behave with our same level of approval in other areas.
Juan Agustin Veliz, Germany, AI Expert
Læs på dansk (DK)
Jeg synes, det er svært at svare på, fordi begrebet “bias” ofte hænger sammen med den enkeltes subjektivitet. Hvem skal afgøre, hvad der er bias? Sandsynligvis et menneske, som til gengæld selv har sine egne erfaringsbaserede skævheder. At eliminere bias ville svare til at forvente, at 100 % af alle mennesker er enige om et bestemt emne. Hvor sandsynligt lyder det lige? Når det er sagt, kan vi, hvis vi afgrænser et område tilstrækkeligt præcist, tilpasse modellerne med eller uden bestemte skævheder, så de opfører sig på en bestemt måde, som vi er enige om. Men vi kan ikke forvente, at de opnår samme grad af accept på andre områder.Juan Agustin Veliz, Tyskland, AI-ekspert
Auf Deutsch lesen (DE)
Ich denke, dass diese Frage schwer zu beantworten ist, da der Begriff „Bias“ häufig mit der Subjektivität einer Person verbunden ist. Wer entscheidet, was als Bias gilt? Wahrscheinlich ein Mensch, der seinerseits eigene, erfahrungsbedingte Verzerrungen mitbringt. Bias zu beseitigen wäre so, als würde man erwarten, dass sich 100 % aller Menschen bei einem bestimmten Thema einig sind. Wie wahrscheinlich klingt das? Wenn man den Anwendungsbereich jedoch ausreichend eingrenzt, können wir Modelle gezielt so beeinflussen oder von bestimmten Verzerrungen befreien, dass sie sich auf eine bestimmte Weise verhalten, mit der wir übereinstimmen. Wir können allerdings nicht erwarten, dass ihr Verhalten auch in anderen Bereichen in gleichem Maße unseren Vorstellungen entspricht.Juan Agustin Veliz, Deutschland, KI-Experte
Leer en español (ES)
Creo que es difícil responder a esta pregunta, ya que el concepto de «sesgo» suele estar relacionado con la subjetividad de cada persona. ¿Quién decidirá qué es un sesgo? Lo más probable es que sea un ser humano que, a su vez, también tenga sus propios sesgos basados en su experiencia. Eliminar los sesgos sería como esperar que el 100 % de los seres humanos estuviera de acuerdo en un tema concreto. ¿Hasta qué punto parece probable? Dicho esto, si delimitamos suficientemente el ámbito de aplicación, podemos ajustar los modelos para introducir o reducir determinados sesgos y conseguir que se comporten de una manera concreta con la que estemos de acuerdo. Sin embargo, no podemos esperar que su comportamiento obtenga el mismo grado de aceptación en otros ámbitos.Juan Agustin Veliz, Alemania, experto en IA
Прочетете на български (BG)
Мисля, че е трудно да се отговори на този въпрос, тъй като понятието „пристрастие“ обикновено е свързано със субективността на човека. Кой ще решава какво представлява пристрастие? Най-вероятно човек, който на свой ред също има собствени пристрастия, основани на личния му опит. Премахването на пристрастията би било равносилно на очакването 100% от хората да са съгласни по дадена тема. Колко вероятно ви се струва това? Въпреки това, ако ограничим достатъчно обхвата, можем да настроим моделите така, че да въведем или намалим определени пристрастия и да ги накараме да се държат по конкретен начин, с който сме съгласни. Но не можем да очакваме, че поведението им ще бъде одобрявано в същата степен и в други области.Juan Agustin Veliz, Германия, експерт по изкуствен интелект
Kiril Ivanov Radev — Without impartiality, can people really trust AI?
If there is a lack of impartiality, none of the AI users will have confidence in it.
Kiril Ivanov Radev, works with AI in the education system, Bulgaria, AI Expert
Læs på dansk (DK)
Hvis der mangler upartiskhed, vil ingen af AI-brugerne have tillid til systemet.Kiril Ivanov Radev, arbejder med AI i uddannelsessystemet, Bulgarien, AI-ekspert
Auf Deutsch lesen (DE)
Wenn es an Unparteilichkeit mangelt, werden die Nutzer kein Vertrauen in die KI haben.Kiril Ivanov Radev, arbeitet mit KI im Bildungssystem, Bulgarien, KI-Experte
Leer en español (ES)
Si no hay imparcialidad, ningún usuario confiará en la IA.Kiril Ivanov Radev, trabaja con IA en el sistema educativo, Bulgaria, experto en IA
Прочетете на български (BG)
Ако липсва безпристрастност, нито един от потребителите няма да има доверие в изкуствения интелект.Kiril Ivanov Radev, работи с ИИ в образователната система, България, експерт по изкуствен интелект
