AI is increasingly used to help decide who gets hired, qualifies for a loan or receives attention from law enforcement. But what if the data behind these systems reflects years of discrimination or unequal treatment? Instead of creating fairer opportunities, AI could reproduce existing inequalities and make them harder to detect. Explore five perspectives on how automated decisions can reinforce social inequalities, why accountability matters and whether AI could also help make decisions fairer.
BEFORE YOU READ...
Would you trust an AI to decide whether you deserve a job?
Imagine two equally qualified candidates applying for the same position. An AI system recommends one over the other, but neither candidate knows why. What would you need to know before trusting that decision? And how could you tell whether it was fair?
Explore Different Perspectives
Discover five perspectives on AI and inequality, from hidden discrimination in recruitment and lending to the possibility of using AI to challenge human prejudice.
Ibai Martinez — When discrimination becomes automated: The hidden danger of biased AI
This answer is closely linked to what I explained in the previous point about bias. If we start from the premise that AI is created by humans and trained with data generated by humans, the logical conclusion is that the technology inherits our own flaws. Humans always have biases (conscious or unconscious), and when we pour our history into a model, we are teaching it those same prejudices.
Therefore, it is a mistake to think that AI will solve inequalities on its own; in fact, there is a risk that it will exacerbate them. If we train a hiring algorithm with data from a company that has been discriminating against certain groups for 20 years, the AI will learn that this is the “pattern for success” and will automatically replicate it on a large scale.
The danger is that this creates a kind of “black box” where discrimination becomes invisible. Before, you could blame the recruiter; now they hide behind the excuse that “the algorithm decided it”. Thus, far from closing social or economic gaps, AI can act as an amplifier that makes structural inequalities more difficult to detect and eradicate.
Ibai Martinez, Spain, Artificial Intelligence student at the University of the Basque Country (UPV/EHU)
Læs på dansk (DK)
Dette svar hænger tæt sammen med det, jeg forklarede i det foregående punkt om bias. Hvis vi tager udgangspunkt i, at AI skabes af mennesker og trænes med data, som mennesker har genereret, er den logiske konklusion, at teknologien overtager vores egne mangler. Mennesker har altid bias, både bevidste og ubevidste, og når vi overfører vores historie til en model, lærer vi den de samme fordomme. Derfor er det en fejl at tro, at AI af sig selv vil løse uligheder. Tværtimod er der risiko for, at den vil forværre dem. Hvis vi træner en ansættelsesalgoritme med data fra en virksomhed, der har diskrimineret mod bestemte grupper i 20 år, vil AI lære, at dette er det rette »mønster for succes«, og automatisk gentage det i stor skala. Faren er, at dette skaber en slags »sort boks«, hvor diskrimination bliver usynlig. Tidligere kunne man give rekrutteringsansvarlige skylden; nu kan de gemme sig bag undskyldningen om, at »det var algoritmen, der besluttede det«. I stedet for at mindske sociale eller økonomiske skel kan AI således fungere som en forstærker, der gør strukturelle uligheder vanskeligere at opdage og udrydde.Ibai Martinez, Spanien, studerende i kunstig intelligens ved Baskerlandets Universitet (UPV/EHU)
Auf Deutsch lesen (DE)
Diese Antwort hängt eng mit dem zusammen, was ich im vorherigen Abschnitt über Bias erklärt habe. Wenn wir davon ausgehen, dass KI von Menschen entwickelt und mit von Menschen erzeugten Daten trainiert wird, liegt der Schluss nahe, dass die Technologie unsere eigenen Schwächen übernimmt. Menschen haben immer Vorurteile und Verzerrungen, ob bewusst oder unbewusst. Wenn wir unsere Geschichte in ein Modell einfließen lassen, vermitteln wir ihm dieselben Vorurteile. Deshalb ist es ein Fehler zu glauben, dass KI Ungleichheiten von selbst lösen wird. Tatsächlich besteht die Gefahr, dass sie diese noch verschärft. Wenn wir einen Einstellungsalgorithmus mit Daten eines Unternehmens trainieren, das bestimmte Gruppen seit 20 Jahren diskriminiert, wird die KI dieses Verhalten als »Erfolgsmuster« erlernen und automatisch in großem Maßstab reproduzieren. Die Gefahr besteht darin, dass dadurch eine Art »Blackbox« entsteht, in der Diskriminierung unsichtbar wird. Früher konnte man den Personalverantwortlichen die Schuld geben; heute verstecken sie sich hinter der Ausrede, »der Algorithmus habe so entschieden«. Anstatt soziale oder wirtschaftliche Ungleichheiten abzubauen, kann KI somit als Verstärker wirken und es erschweren, strukturelle Ungleichheiten zu erkennen und zu beseitigen.Ibai Martinez, Spanien, Student der künstlichen Intelligenz an der Universität des Baskenlandes (UPV/EHU)
Leer en español (ES)
Esta respuesta está estrechamente relacionada con lo que expliqué en el punto anterior sobre los sesgos. Si partimos de la premisa de que la IA es creada por seres humanos y se entrena con datos generados por personas, la conclusión lógica es que la tecnología hereda nuestros propios defectos. Los seres humanos siempre tenemos sesgos, conscientes o inconscientes, y cuando volcamos nuestra historia en un modelo, le estamos enseñando esos mismos prejuicios. Por tanto, es un error pensar que la IA resolverá las desigualdades por sí sola; de hecho, existe el riesgo de que las agrave. Si entrenamos un algoritmo de selección de personal con datos de una empresa que lleva 20 años discriminando a determinados grupos, la IA aprenderá que ese es el «patrón del éxito» y lo reproducirá automáticamente a gran escala. El peligro es que esto crea una especie de «caja negra» en la que la discriminación se vuelve invisible. Antes se podía culpar a la persona responsable de la contratación; ahora puede escudarse en la excusa de que «lo decidió el algoritmo». Así, lejos de reducir las brechas sociales o económicas, la IA puede actuar como un amplificador que dificulte aún más detectar y erradicar las desigualdades estructurales.Ibai Martinez, España, estudiante de Inteligencia Artificial en la Universidad del País Vasco (UPV/EHU)
Прочетете на български (BG)
Този отговор е тясно свързан с обясненото от мен в предходната точка относно пристрастията. Ако приемем, че ИИ се създава от хора и се обучава с данни, генерирани от хора, логичният извод е, че технологията наследява нашите собствени недостатъци. Хората винаги имат пристрастия, съзнателни или несъзнателни, и когато пренасяме историята си в даден модел, ние го обучаваме на същите тези предразсъдъци. Затова е погрешно да смятаме, че ИИ ще реши неравенствата самостоятелно. Всъщност съществува риск той да ги задълбочи. Ако обучим алгоритъм за подбор на служители с данни от компания, която дискриминира определени групи от 20 години, ИИ ще научи, че това е „моделът за успех“, и автоматично ще го възпроизвежда в голям мащаб. Опасността е, че така се създава своеобразна „черна кутия“, в която дискриминацията става невидима. Преди можеше да бъде обвинен служителят, отговарящ за подбора; сега той може да се скрие зад оправданието, че „алгоритъмът е взел решението“. Така, вместо да намалява социалните или икономическите различия, ИИ може да действа като усилвател, който затруднява откриването и премахването на структурните неравенства.Ibai Martinez, Испания, студент по изкуствен интелект в Университета на Страната на баските (UPV/EHU)
Eva Gruber — From hiring to law enforcement: How AI can perpetuate existing inequalities
Since AI systems rely on existing and historical data, they could, for example, put certain groups at a disadvantage in the application process if previous recruitment data were one-sided.
In the case of lending, people from certain social or regional backgrounds could also be disadvantaged. In law enforcement, there is a risk that AI is more likely to classify certain populations as “conspicuous” when the training data is skewed.
As a result, existing injustices can appear objective and continue on technical grounds.
Dir. Mag. Eva Gruber, director, Austria, AI Enthusiast
Læs på dansk (DK)
Da AI-systemer bygger på eksisterende og historiske data, kan de for eksempel stille bestemte grupper dårligere i ansættelsesprocessen, hvis tidligere rekrutteringsdata er ensidige. Ved långivning kan personer med bestemte sociale eller regionale baggrunde også blive stillet dårligere. Inden for retshåndhævelse er der risiko for, at AI i højere grad klassificerer bestemte befolkningsgrupper som »mistænkelige«, hvis træningsdataene er skæve. Som følge heraf kan eksisterende uretfærdigheder fremstå objektive og blive videreført med henvisning til tekniske vurderinger.Dir. Mag. Eva Gruber, direktør, Østrig, AI-entusiast
Auf Deutsch lesen (DE)
Da KI-Systeme auf bestehenden und historischen Daten beruhen, können sie beispielsweise bestimmte Gruppen im Bewerbungsverfahren benachteiligen, wenn frühere Einstellungsdaten einseitig geprägt waren. Bei der Kreditvergabe könnten auch Menschen mit bestimmten sozialen oder regionalen Hintergründen benachteiligt werden. Bei der Strafverfolgung besteht das Risiko, dass die KI bestimmte Bevölkerungsgruppen eher als „auffällig“ einstuft, wenn die Trainingsdaten verzerrt sind. Dadurch können bestehende Ungerechtigkeiten objektiv erscheinen und auf technischer Grundlage fortbestehen.Dir. Mag. Eva Gruber, Direktorin, Österreich, KI-Enthusiastin
Leer en español (ES)
Dado que los sistemas de IA se basan en datos existentes e históricos, pueden, por ejemplo, perjudicar a determinados grupos durante los procesos de selección de personal si los datos de contrataciones anteriores presentan un sesgo. En el caso de la concesión de préstamos, también podrían verse perjudicadas personas de determinados entornos sociales o regiones. En el ámbito de la aplicación de la ley, existe el riesgo de que la IA clasifique con mayor frecuencia a determinadas poblaciones como «sospechosas» cuando los datos de entrenamiento están sesgados. Como resultado, las injusticias existentes pueden parecer objetivas y perpetuarse bajo una apariencia de justificación técnica.Dir. Mag. Eva Gruber, directora, Austria, entusiasta de la IA
Прочетете на български (BG)
Тъй като системите с изкуствен интелект разчитат на съществуващи и исторически данни, те могат например да поставят определени групи в по-неблагоприятно положение при кандидатстване за работа, ако данните от предишни процедури за подбор са едностранчиви. При отпускането на кредити хората с определен социален или регионален произход също могат да бъдат ощетени. В правоприлагането съществува риск ИИ по-често да определя определени групи от населението като „подозрителни“, когато данните за обучение са изкривени. В резултат на това съществуващите несправедливости могат да изглеждат обективни и да продължат да се възпроизвеждат под претекст за техническа обоснованост.Dir. Mag. Eva Gruber, директор, Австрия, ентусиаст в областта на изкуствения интелект
Ingrid Seidl — The black box problem: When unfair AI decisions are difficult to challenge
There is a high risk that AI will exacerbate existing inequalities if systems are trained with biased data or are inadequately monitored. Women, certain ethnic groups or people from disadvantaged neighbourhoods may be systematically disadvantaged because historical prejudices and structural discrimination are perpetuated in the training data. The situation is further exacerbated by non-transparent “black box” decisions, which are difficult for those affected to challenge if they do not understand why they have been denied a job, a loan or a service, for example.
Seidl Ingrid, teacher, Austria, AI Educator
Læs på dansk (DK)
Der er stor risiko for, at AI vil forværre eksisterende uligheder, hvis systemerne trænes med forudindtagede data eller ikke overvåges tilstrækkeligt. Kvinder, bestemte etniske grupper eller personer fra socialt udsatte boligområder kan blive systematisk stillet dårligere, fordi historiske fordomme og strukturel diskrimination videreføres i træningsdataene. Situationen forværres yderligere af uigennemsigtige beslutninger fra en »sort boks«, som det er svært for de berørte at anfægte, hvis de for eksempel ikke forstår, hvorfor de har fået afslag på et job, et lån eller en serviceydelse.Seidl Ingrid, lærer, Østrig, AI-underviser
Auf Deutsch lesen (DE)
Es besteht ein hohes Risiko, dass KI bestehende Ungleichheiten verschärft, wenn Systeme mit voreingenommenen Daten trainiert oder unzureichend überwacht werden. Frauen, bestimmte ethnische Gruppen oder Menschen aus benachteiligten Stadtvierteln können systematisch benachteiligt werden, weil historische Vorurteile und strukturelle Diskriminierung in den Trainingsdaten fortgeschrieben werden. Verschärft wird die Situation durch intransparente Entscheidungen einer sogenannten „Blackbox“, gegen die sich Betroffene nur schwer zur Wehr setzen können, wenn sie beispielsweise nicht verstehen, warum ihnen eine Stelle, ein Kredit oder eine Dienstleistung verweigert wurde.Seidl Ingrid, Lehrerin, Österreich, KI-Pädagogin
Leer en español (ES)
Existe un alto riesgo de que la IA agrave las desigualdades existentes si los sistemas se entrenan con datos sesgados o no se supervisan adecuadamente. Las mujeres, determinados grupos étnicos o las personas que viven en barrios desfavorecidos pueden verse sistemáticamente perjudicados, ya que los prejuicios históricos y la discriminación estructural se perpetúan en los datos de entrenamiento. La situación se agrava aún más debido a las decisiones opacas de una «caja negra», que las personas afectadas tienen dificultades para impugnar si no comprenden por qué, por ejemplo, se les ha denegado un empleo, un préstamo o un servicio.Seidl Ingrid, profesora, Austria, educadora en IA
Прочетете на български (BG)
Съществува висок риск изкуственият интелект да задълбочи съществуващите неравенства, ако системите се обучават с пристрастни данни или не се наблюдават адекватно. Жените, определени етнически групи или хората от социално уязвими квартали могат систематично да бъдат поставяни в по-неблагоприятно положение, тъй като историческите предразсъдъци и структурната дискриминация се възпроизвеждат в данните за обучение. Ситуацията се усложнява допълнително от непрозрачните решения на така наречената „черна кутия“, които засегнатите трудно могат да оспорят, ако не разбират защо например им е отказана работа, кредит или услуга.Seidl Ingrid, учител, Австрия, преподавател по изкуствен интелект
Juan Agustin Veliz — Automating inequality: When people hide behind the algorithm
AI is always a reflection of humanity, and the user. I believe existing inequalities could persist, only now, they can be mostly automated. This, in turn, would be very convenient for those people who reinforce inequalities, by stripping them of the need to see faces, hear voices, and deal with the heavy weight of conscience. Furthermore, it will give them an excuse for whatever unjust behavior, by just blaming the model for it.
Juan Agustin Veliz, Germany, AI Expert
Læs på dansk (DK)
AI er altid et spejlbillede af menneskeheden og brugeren. Jeg mener, at eksisterende uligheder kan bestå, men at de nu i vid udstrækning kan automatiseres. Det vil være meget bekvemt for dem, der forstærker ulighederne, fordi de dermed slipper for at skulle se mennesker i øjnene, høre deres stemmer og håndtere den tunge samvittighed, der følger med. Desuden vil det give dem en undskyldning for enhver uretfærdig handling, fordi de blot kan give modellen skylden.Juan Agustin Veliz, Tyskland, AI-ekspert
Auf Deutsch lesen (DE)
KI ist immer ein Spiegelbild der Menschheit und ihrer Nutzer. Ich glaube, dass bestehende Ungleichheiten fortbestehen könnten, nun jedoch weitgehend automatisiert. Das wäre für diejenigen, die Ungleichheiten verstärken, äußerst praktisch, da sie sich dadurch nicht mehr mit den betroffenen Menschen auseinandersetzen, ihre Stimmen hören oder mit der schweren Last ihres Gewissens umgehen müssten. Darüber hinaus würde es ihnen eine Ausrede für jegliches ungerechte Verhalten liefern, indem sie einfach dem Modell die Schuld geben.Juan Agustin Veliz, Deutschland, KI-Experte
Leer en español (ES)
La IA siempre es un reflejo de la humanidad y de sus usuarios. Creo que las desigualdades existentes podrían persistir, solo que ahora podrían automatizarse en gran medida. Esto resultaría muy conveniente para quienes perpetúan las desigualdades, ya que les evitaría tener que mirar a las personas a la cara, escuchar sus voces y afrontar el enorme peso de su conciencia. Además, les proporcionaría una excusa para justificar cualquier comportamiento injusto, limitándose a culpar al modelo.Juan Agustin Veliz, Alemania, experto en IA
Прочетете на български (BG)
Изкуственият интелект винаги е отражение на човечеството и на неговите потребители. Смятам, че съществуващите неравенства могат да се запазят, но вече да бъдат до голяма степен автоматизирани. Това би било много удобно за хората, които задълбочават неравенствата, тъй като ще ги освободи от необходимостта да гледат засегнатите хора в очите, да чуват гласовете им и да се справят с тежестта на собствената си съвест. Освен това ще им даде оправдание за всяко несправедливо поведение, като просто прехвърлят вината върху модела.Juan Agustin Veliz, Германия, експерт по изкуствен интелект
Radoslav Markov — Could AI also reduce inequality? The other side of automated decisions
Just as it can amplify these disparities, it can also level them out. The trend suggests that these areas may soon become a battleground for AI models, since what can be used to create inequality can be countered by another model. The inequality here is that someone might be tricked into conducting (for example) a live interview with a real person, while the AI is the one evaluating them. But it is not impossible, for example, that after an objective AI evaluation, a person might be hired whom a human HR representative would not have hired—perhaps due to some sudden personal dislike unrelated to the candidate’s qualifications, or simply due to the examiner’s incompetence. Here, too, however, the rule applies: AI is an assistant, not a replacement. !
Radoslav Markov, IT professional, Bulgaria, AI Expert
Læs på dansk (DK)
Ligesom AI kan forstærke disse uligheder, kan den også udligne dem. Udviklingen tyder på, at disse områder snart kan blive en kampplads for AI-modeller, eftersom det, der kan bruges til at skabe ulighed, også kan modvirkes af en anden model. Uligheden består her i, at en person for eksempel kan blive narret til at deltage i en direkte jobsamtale med et rigtigt menneske, mens det i virkeligheden er AI, der vurderer vedkommende. Det er dog også muligt, at en person efter en objektiv AI-vurdering bliver ansat, selv om en menneskelig HR-medarbejder ikke ville have valgt vedkommende – måske på grund af en pludselig personlig antipati, der ikke har noget med kandidatens kvalifikationer at gøre, eller ganske enkelt på grund af interviewerens inkompetence. Også her gælder reglen dog: AI er en assistent, ikke en erstatning.Radoslav Markov, IT-fagperson, Bulgarien, AI-ekspert
Auf Deutsch lesen (DE)
So wie KI diese Ungleichheiten verstärken kann, kann sie auch dazu beitragen, sie auszugleichen. Die Entwicklung deutet darauf hin, dass diese Bereiche bald zu einem umkämpften Feld für KI-Modelle werden könnten, da sich das, was zur Schaffung von Ungleichheit eingesetzt werden kann, durch ein anderes Modell ausgleichen lässt. Die Ungleichheit besteht hier darin, dass jemand beispielsweise dazu verleitet werden könnte, an einem Live-Bewerbungsgespräch mit einem echten Menschen teilzunehmen, während tatsächlich die KI die Person bewertet. Es ist jedoch durchaus möglich, dass nach einer objektiven KI-Bewertung eine Person eingestellt wird, die eine menschliche Personalverantwortliche oder ein menschlicher Personalverantwortlicher nicht ausgewählt hätte – vielleicht aufgrund einer spontanen persönlichen Abneigung, die nichts mit den Qualifikationen der Bewerberin oder des Bewerbers zu tun hat, oder einfach aufgrund der Inkompetenz der prüfenden Person. Doch auch hier gilt: KI ist eine Unterstützung, kein Ersatz.Radoslav Markov, IT-Fachkraft, Bulgarien, KI-Experte
Leer en español (ES)
Del mismo modo que puede amplificar estas desigualdades, también puede contribuir a reducirlas. La tendencia apunta a que estos ámbitos podrían convertirse pronto en un campo de batalla entre modelos de IA, ya que aquello que puede utilizarse para generar desigualdad también puede contrarrestarse mediante otro modelo. En este caso, la desigualdad consiste en que alguien podría ser engañado para participar, por ejemplo, en una entrevista en directo con una persona real, cuando en realidad es la IA la que lo está evaluando. Sin embargo, también es posible que, tras una evaluación objetiva de la IA, se contrate a una persona que un responsable de recursos humanos no habría seleccionado, quizá debido a una antipatía personal repentina y ajena a las cualificaciones del candidato, o simplemente por la incompetencia de quien realiza la evaluación. No obstante, también aquí se aplica la misma regla: la IA es una asistente, no un sustituto.Radoslav Markov, profesional de TI, Bulgaria, experto en IA
Прочетете на български (BG)
Точно както ИИ може да задълбочава тези неравенства, той може и да ги намалява. Тенденцията показва, че тези области скоро могат да се превърнат в поле на съперничество между моделите на ИИ, тъй като това, което може да се използва за създаване на неравенство, може да бъде неутрализирано от друг модел. В този случай неравенството се състои в това, че някой може да бъде подведен да участва например в интервю на живо с реален човек, докато всъщност именно ИИ го оценява. Възможно е обаче след обективна оценка от ИИ да бъде нает човек, когото служител по човешки ресурси не би избрал – може би поради внезапна лична неприязън, която няма нищо общо с квалификацията на кандидата, или просто поради некомпетентността на оценяващия. И тук обаче важи същото правило: ИИ е помощник, а не заместител.Radoslav Markov, IT специалист, България, експерт по изкуствен интелект
