When AI Causes Harm, Who Is Responsible?

From recruitment and healthcare to everyday decisions, AI is increasingly influencing choices that affect people’s lives. But what happens when those decisions cause harm? Should responsibility lie with the person using the technology, the organisation that introduced it or the company that developed it? Explore six perspectives on human oversight, accountability and why using AI doesn’t necessarily mean handing over responsibility.

BEFORE YOU READ...

If an AI makes the wrong decision, whose fault is it?

Imagine a company uses AI to screen job applications and unfairly rejects a qualified candidate. Should the responsibility lie with the AI developer, the company using the system or the person who approved the decision? Could more than one party be responsible?

Explore Different Perspectives

Discover six perspectives on accountability, from individual responsibility and human oversight to the roles of organisations, developers and legal frameworks.

I believe the responsibility should lie with the user. On one hand, it is important to keep in mind that artificial intelligence is meant to help us, not to be something we rely on blindly. In this sense, human beings are also responsible for informing themselves about AI and its potential drawbacks and limitations. Therefore, it is up to us to apply a critical filter to what AI proposes and to consider it as a tool rather than an essential part of our lives, despite how helpful it may be. For this reason, when making certain decisions—whether in a personal or professional context—we must be aware of the responsibility that our choices entail. In line with this, if decisions based on AI turn out to be harmful, we should avoid using artificial intelligence as an excuse and instead take responsibility, act to repair any damage caused, and learn from the experience for the future.
Aketx Mate, Spain, graduated in Early Childhood and Primary Education, AI Educator
Læs på dansk (DK)Jeg mener, at ansvaret bør ligge hos brugeren. På den ene side er det vigtigt at huske på, at kunstig intelligens skal hjælpe os, og at vi ikke bør stole blindt på den. I den forbindelse har vi mennesker også et ansvar for at sætte os ind i AI og dens potentielle ulemper og begrænsninger. Derfor er det op til os at forholde os kritisk til det, AI foreslår, og betragte den som et værktøj snarere end en uundværlig del af vores liv, uanset hvor nyttig den måtte være. Derfor skal vi, når vi træffer bestemte beslutninger – både i privatlivet og i arbejdslivet – være bevidste om det ansvar, vores valg indebærer. Hvis beslutninger baseret på AI viser sig at være skadelige, bør vi ikke bruge kunstig intelligens som en undskyldning. I stedet skal vi tage ansvar, forsøge at udbedre eventuelle skader og lære af erfaringerne, så vi kan handle bedre i fremtiden.
Aketx Mate, Spanien, uddannet inden for småbørnspædagogik og grundskoleundervisning, AI-underviser
Auf Deutsch lesen (DE)Ich bin der Meinung, dass die Verantwortung beim Nutzer liegen sollte. Einerseits ist es wichtig, sich bewusst zu machen, dass künstliche Intelligenz uns unterstützen soll und dass wir uns nicht blind auf sie verlassen dürfen. In diesem Sinne sind wir Menschen auch dafür verantwortlich, uns über KI sowie ihre möglichen Nachteile und Grenzen zu informieren. Deshalb liegt es an uns, die Vorschläge der KI kritisch zu hinterfragen und sie als Werkzeug zu betrachten, statt sie als unverzichtbaren Bestandteil unseres Lebens anzusehen, so hilfreich sie auch sein mag. Aus diesem Grund müssen wir uns bei bestimmten Entscheidungen – sei es im privaten oder beruflichen Kontext – der Verantwortung bewusst sein, die unsere Entscheidungen mit sich bringen. Wenn sich Entscheidungen auf Grundlage von KI als schädlich erweisen, sollten wir künstliche Intelligenz nicht als Ausrede benutzen. Stattdessen müssen wir Verantwortung übernehmen, versuchen, entstandene Schäden wiedergutzumachen, und aus den Erfahrungen für die Zukunft lernen.
Aketx Mate, Spanien, Absolvent im Bereich Frühkindliche Bildung und Grundschulpädagogik, KI-Pädagoge
Leer en español (ES)Creo que la responsabilidad debe recaer en el usuario. Por un lado, es importante tener presente que la inteligencia artificial está pensada para ayudarnos, no para que dependamos de ella ciegamente. En este sentido, las personas también somos responsables de informarnos sobre la IA y sus posibles inconvenientes y limitaciones. Por tanto, nos corresponde aplicar un filtro crítico a lo que propone la IA y considerarla una herramienta, en lugar de una parte esencial de nuestras vidas, por muy útil que pueda resultar. Por este motivo, al tomar determinadas decisiones, ya sea en el ámbito personal o profesional, debemos ser conscientes de la responsabilidad que implican nuestras elecciones. Del mismo modo, si las decisiones basadas en la IA resultan perjudiciales, debemos evitar utilizar la inteligencia artificial como excusa y, en su lugar, asumir la responsabilidad, actuar para reparar cualquier daño causado y aprender de la experiencia de cara al futuro.
Aketx Mate, España, graduado en Educación Infantil y Educación Primaria, educador en IA
Прочетете на български (BG)Смятам, че отговорността трябва да бъде на потребителя. От една страна, важно е да помним, че изкуственият интелект е предназначен да ни помага, а не да разчитаме сляпо на него. В този смисъл ние, хората, също носим отговорност да се информираме за ИИ и неговите потенциални недостатъци и ограничения. Затова от нас зависи да подхождаме критично към предложенията на ИИ и да го разглеждаме като инструмент, а не като незаменима част от живота ни, независимо колко полезен може да бъде той. Поради тази причина, когато вземаме определени решения – независимо дали в личен или професионален контекст – трябва да осъзнаваме отговорността, която произтича от нашия избор. Ако решенията, основани на ИИ, се окажат вредни, не бива да използваме изкуствения интелект като оправдание. Вместо това трябва да поемем отговорност, да предприемем действия за поправяне на причинените вреди и да се поучим от опита си за в бъдеще.
Aketx Mate, Испания, завършил педагогика за ранна детска и начална училищна възраст, преподавател по изкуствен интелект

AI is a tool that learns from existing data. If that data contains prejudices or inequalities, AI-driven decisions may also cause harm.

Responsibility should lie with the people and institutions that support these tools and establish the rules for their use, such as companies and public authorities. AI itself cannot take responsibility, so decision-makers must remain accountable. It is therefore important to ensure human oversight, establish clear legal rules and make AI-driven decisions understandable and transparent.

Dir. Mag. Eva Gruber, director, Austria, AI Enthusiast
Læs på dansk (DK)AI er et værktøj, der lærer af eksisterende data. Hvis disse data indeholder fordomme eller uligheder, kan beslutninger baseret på AI også medføre skade. Ansvaret bør ligge hos de mennesker og institutioner, der står bag disse værktøjer og fastlægger reglerne for deres anvendelse, såsom virksomheder og offentlige myndigheder. AI kan ikke selv tage ansvar, så beslutningstagerne skal fortsat stå til ansvar for deres beslutninger. Derfor er det vigtigt at sikre menneskeligt tilsyn, fastlægge klare juridiske regler og gøre AI-baserede beslutninger forståelige og gennemsigtige.
Dir. Mag. Eva Gruber, direktør, Østrig, AI-entusiast
Auf Deutsch lesen (DE)KI ist ein Werkzeug, das aus vorhandenen Daten lernt. Wenn diese Daten Vorurteile oder Ungleichheiten enthalten, können auch KI-gestützte Entscheidungen Schaden verursachen. Die Verantwortung sollte bei den Menschen und Institutionen liegen, die diese Werkzeuge bereitstellen und die Regeln für ihre Nutzung festlegen, beispielsweise Unternehmen und öffentliche Behörden. KI selbst kann keine Verantwortung übernehmen, daher müssen die Entscheidungsträger weiterhin für ihre Entscheidungen einstehen. Deshalb ist es wichtig, menschliche Aufsicht sicherzustellen, klare rechtliche Regelungen zu schaffen und KI-gestützte Entscheidungen nachvollziehbar und transparent zu gestalten.
Dir. Mag. Eva Gruber, Direktorin, Österreich, KI-Enthusiastin
Leer en español (ES)La IA es una herramienta que aprende a partir de datos existentes. Si esos datos contienen prejuicios o desigualdades, las decisiones basadas en IA también pueden causar daños. La responsabilidad debe recaer en las personas y las instituciones que respaldan estas herramientas y establecen las normas para su uso, como las empresas y las autoridades públicas. La IA no puede asumir responsabilidades por sí misma, por lo que quienes toman las decisiones deben seguir rindiendo cuentas. Por tanto, es importante garantizar la supervisión humana, establecer normas jurídicas claras y hacer que las decisiones basadas en IA sean comprensibles y transparentes.
Dir. Mag. Eva Gruber, directora, Austria, entusiasta de la IA
Прочетете на български (BG)Изкуственият интелект е инструмент, който се учи от съществуващи данни. Ако тези данни съдържат предразсъдъци или неравенства, решенията, основани на ИИ, също могат да причинят вреда. Отговорността трябва да бъде на хората и институциите, които подкрепят тези инструменти и определят правилата за тяхното използване, като например компаниите и публичните органи. Самият ИИ не може да поема отговорност, затова лицата, вземащи решения, трябва да продължат да носят отговорност за тях. Ето защо е важно да се осигури човешки надзор, да се установят ясни правни правила и решенията, основани на ИИ, да бъдат разбираеми и прозрачни.
Dir. Mag. Eva Gruber, директор, Австрия, ентусиаст в областта на изкуствения интелект
Basically, it is to be questioned whether decisions should be made by AI-based systems at all. In any case, with regard to the question raised, the type of decisions involved must be classified. In the rarest of cases, decisions can be brought about by a simple mechanism. Where this can be brought about by simple yes/no processes, it can – and will be done – through simple automated and generalized processes. Decisions that require some kind of intelligence cannot be made by artificial intelligence, as they always have discretion and must therefore be instructed more than a simple logic. The vast majority of decisions require a view from different perspectives and a certain background of experience, which is not guaranteed by the processes described above. Especially when it comes to ethical decisions from all area ethics, AI-based decision-making is to be classified as completely inadequate and thus rejected. In principle, however, a human decision is upstream of the AI-generated decision-making process, namely that of bringing about the decision through an AI-controlled process. Thus, there is a contact person – be it a person or a collective (e.g. in the form of an institution) – to whom the responsibility for commissioning the AI can be clearly assigned. The responsibility for harmful AI decisions is therefore clearly to be borne by this person or persons.
Mag. Kerstin Koch-Pernitsch, MA, Austria, AI Educator
Læs på dansk (DK)Grundlæggende bør man stille spørgsmål ved, om beslutninger overhovedet bør træffes af AI-baserede systemer. Under alle omstændigheder skal man i forbindelse med det rejste spørgsmål klassificere, hvilken type beslutninger der er tale om. Kun i de færreste tilfælde kan beslutninger træffes ved hjælp af en simpel mekanisme. Når en beslutning kan træffes gennem enkle ja/nej-processer, kan og vil det ske gennem simple, automatiserede og generaliserede processer. Beslutninger, der kræver en form for intelligens, kan ikke træffes af kunstig intelligens, da de altid indebærer et element af skøn og derfor kræver mere end simpel logik. Langt de fleste beslutninger kræver, at man ser på sagen fra forskellige perspektiver og inddrager en vis erfaringsbaggrund, hvilket ikke er sikret gennem de ovenfor beskrevne processer. Især når det drejer sig om etiske beslutninger inden for alle områder af etikken, må AI-baseret beslutningstagning betragtes som fuldstændig utilstrækkelig og derfor afvises. Grundlæggende ligger der dog en menneskelig beslutning forud for den AI-genererede beslutningsproces, nemlig beslutningen om at lade en AI-styret proces træffe afgørelsen. Der er derfor en ansvarlig part – enten en enkelt person eller en gruppe (for eksempel en institution) – som tydeligt kan holdes ansvarlig for at have taget initiativ til at anvende AI. Ansvaret for skadelige beslutninger truffet ved hjælp af AI skal derfor klart bæres af denne person eller disse personer.
Mag. Kerstin Koch-Pernitsch, MA, Østrig, AI-underviser
Auf Deutsch lesen (DE)Grundsätzlich muss hinterfragt werden, ob Entscheidungen überhaupt von KI-basierten Systemen getroffen werden sollten. In jedem Fall muss im Hinblick auf die aufgeworfene Frage zunächst eingeordnet werden, um welche Art von Entscheidungen es sich handelt. Nur in den seltensten Fällen lassen sich Entscheidungen durch einen einfachen Mechanismus herbeiführen. Wenn eine Entscheidung durch einfache Ja/Nein-Verfahren getroffen werden kann, kann und wird dies durch einfache automatisierte und verallgemeinerte Prozesse geschehen. Entscheidungen, die eine Form von Intelligenz erfordern, können nicht von künstlicher Intelligenz getroffen werden, da sie stets Ermessensspielraum beinhalten und daher mehr als einfache Logik erfordern. Die große Mehrheit der Entscheidungen verlangt eine Betrachtung aus unterschiedlichen Perspektiven sowie einen gewissen Erfahrungshintergrund, was durch die oben beschriebenen Verfahren nicht gewährleistet wird. Insbesondere bei ethischen Entscheidungen in allen Bereichen der Ethik ist die KI-gestützte Entscheidungsfindung als völlig ungeeignet einzustufen und daher abzulehnen. Grundsätzlich geht der KI-gestützten Entscheidungsfindung jedoch eine menschliche Entscheidung voraus, nämlich die Entscheidung, einen KI-gesteuerten Prozess zur Herbeiführung der Entscheidung einzusetzen. Somit gibt es eine verantwortliche Stelle – sei es eine einzelne Person oder eine Gruppe (beispielsweise in Form einer Institution) –, der die Verantwortung für die Beauftragung der KI eindeutig zugeordnet werden kann. Die Verantwortung für schädliche KI-Entscheidungen muss daher eindeutig von dieser Person oder diesen Personen getragen werden.
Mag. Kerstin Koch-Pernitsch, MA, Österreich, KI-Pädagogin
Leer en español (ES)En esencia, cabe cuestionar si las decisiones deberían ser tomadas por sistemas basados en IA. En cualquier caso, para responder a la cuestión planteada, es necesario clasificar el tipo de decisiones de las que se trata. Solo en contadas ocasiones pueden tomarse decisiones mediante un mecanismo sencillo. Cuando es posible hacerlo mediante procesos simples de sí o no, estas decisiones pueden y se tomarán mediante procedimientos automatizados y generalizados. Las decisiones que requieren algún tipo de inteligencia no pueden ser tomadas por la inteligencia artificial, ya que siempre implican cierto margen de discrecionalidad y, por tanto, necesitan algo más que una lógica sencilla. La gran mayoría de las decisiones requieren considerar diferentes perspectivas y contar con cierta experiencia previa, algo que los procesos descritos anteriormente no garantizan. Especialmente en el caso de las decisiones éticas, en cualquier ámbito de la ética, la toma de decisiones basada en IA debe considerarse completamente inadecuada y, por tanto, rechazarse. Sin embargo, en principio, antes de cualquier proceso de toma de decisiones generado por IA existe una decisión humana: la de recurrir a un proceso controlado por IA para tomar esa decisión. Por tanto, hay una persona o entidad responsable —ya sea un individuo o un colectivo, por ejemplo, una institución— a quien puede atribuirse claramente la responsabilidad de haber encargado el uso de la IA. En consecuencia, la responsabilidad por las decisiones perjudiciales tomadas mediante IA debe recaer claramente en esa persona o en esas personas.
Mag. Kerstin Koch-Pernitsch, MA, Austria, educadora en IA
Прочетете на български (BG)По принцип трябва да се постави под въпрос дали решенията изобщо трябва да се вземат от системи, базирани на изкуствен интелект. Във връзка с поставения въпрос във всички случаи трябва да се определи какъв тип решения се разглеждат. Само в най-редките случаи решенията могат да бъдат взети чрез прост механизъм. Когато това е възможно чрез елементарни процеси с отговор „да“ или „не“, решенията могат и ще бъдат вземани посредством прости автоматизирани и обобщени процедури. Решенията, които изискват определена форма на интелигентност, не могат да бъдат вземани от изкуствения интелект, тъй като винаги включват елемент на преценка и следователно изискват нещо повече от обикновена логика. Повечето решения изискват разглеждане на ситуацията от различни гледни точки и наличие на определен опит, което не е гарантирано от описаните по-горе процеси. Особено когато става въпрос за етични решения във всички области на етиката, вземането на решения въз основа на ИИ трябва да се счита за напълно неподходящо и съответно да бъде отхвърлено. По принцип обаче преди процеса на вземане на решение чрез ИИ стои човешко решение, а именно решението да се използва процес, управляван от ИИ, за вземането на съответното решение. Следователно има отговорна страна – отделен човек или колектив, например институция – на която ясно може да бъде възложена отговорността за възлагането на задачата на ИИ. Ето защо отговорността за вредните решения, взети чрез ИИ, трябва ясно да бъде поета от този човек или тези хора.
Mag. Kerstin Koch-Pernitsch, MA, Австрия, преподавател по изкуствен интелект
This question is also a little hard to answer because it is very context dependent. AI is certainly, for now, just a tool. Usually, when a person uses a tool to harm someone, whose fault is it? For the vast majority of cases, according to the law, it is the user, seldom the victim, and very rarely the company that designed it, but never the tool. Our framework of law will have to quickly adapt, as I believe it’s already happening, to accommodate for the usage of AI powered tools.
Juan Agustin Veliz, Germany, AI Expert
Læs på dansk (DK)Dette spørgsmål er også lidt svært at besvare, fordi svaret i høj grad afhænger af konteksten. AI er indtil videre blot et værktøj. Når en person bruger et værktøj til at skade nogen, hvem har så skylden? I langt de fleste tilfælde er det ifølge loven brugeren, sjældent offeret og meget sjældent virksomheden, der har udviklet værktøjet – men aldrig selve værktøjet. Vores lovgivning bliver nødt til hurtigt at tilpasse sig brugen af AI-drevne værktøjer, og jeg mener, at denne udvikling allerede er i gang.
Juan Agustin Veliz, Tyskland, AI-ekspert
Auf Deutsch lesen (DE)Diese Frage ist ebenfalls etwas schwierig zu beantworten, da die Antwort stark vom jeweiligen Kontext abhängt. KI ist zumindest derzeit lediglich ein Werkzeug. Wenn jemand ein Werkzeug benutzt, um einer anderen Person Schaden zuzufügen, wer trägt dann die Schuld? In den allermeisten Fällen ist es laut Gesetz der Nutzer, nur selten das Opfer und sehr selten das Unternehmen, das das Werkzeug entwickelt hat – aber niemals das Werkzeug selbst. Unser Rechtssystem muss sich schnell an die Nutzung KI-gestützter Werkzeuge anpassen. Ich bin der Meinung, dass dieser Anpassungsprozess bereits im Gange ist.
Juan Agustin Veliz, Deutschland, KI-Experte
Leer en español (ES)Esta pregunta también es algo difícil de responder porque depende mucho del contexto. Por ahora, la IA no es más que una herramienta. Cuando una persona utiliza una herramienta para hacer daño a alguien, ¿de quién es la culpa? En la inmensa mayoría de los casos, según la ley, la responsabilidad recae en quien utiliza la herramienta; rara vez en la víctima y muy pocas veces en la empresa que la diseñó, pero nunca en la herramienta en sí. Nuestro marco jurídico tendrá que adaptarse rápidamente para dar cabida al uso de herramientas basadas en IA, y creo que ese proceso ya está en marcha.
Juan Agustin Veliz, Alemania, experto en IA
Прочетете на български (BG)На този въпрос също е малко трудно да се отговори, тъй като отговорът зависи до голяма степен от конкретния контекст. Засега изкуственият интелект е просто инструмент. Когато някой използва инструмент, за да навреди на друг човек, кой носи вината? В преобладаващата част от случаите според закона това е потребителят, по-рядко – жертвата, а много рядко – компанията, която е създала инструмента. Но никога самият инструмент. Нашата правна рамка ще трябва бързо да се адаптира, за да отчете използването на инструменти, базирани на изкуствен интелект. Смятам, че този процес вече е започнал.
Juan Agustin Veliz, Германия, експерт по изкуствен интелект
When an AI-driven decision harms someone, responsibility should ultimately remain with the person who made or approved the decision. AI is a tool, not an independent moral actor, and people should not use it as an excuse to avoid accountability. Human judgment, oversight and responsibility are still essential, especially when decisions affect other people’s lives.
Vania Noteva, Bulgaria, AI Enthusiast
Læs på dansk (DK)Når en AI-baseret beslutning skader nogen, bør ansvaret i sidste ende ligge hos den person, der traf eller godkendte beslutningen. AI er et værktøj, ikke en selvstændig moralsk aktør, og mennesker bør ikke bruge den som en undskyldning for at undgå ansvar. Menneskelig dømmekraft, kontrol og ansvarlighed er stadig afgørende, især når beslutninger påvirker andre menneskers liv.
Vania Noteva, Bulgarien, AI-entusiast
Auf Deutsch lesen (DE)Wenn eine KI-gestützte Entscheidung jemandem schadet, sollte die Verantwortung letztlich bei der Person liegen, die die Entscheidung getroffen oder genehmigt hat. KI ist ein Werkzeug und kein eigenständig moralisch handelnder Akteur. Menschen sollten sie daher nicht als Ausrede nutzen, um sich ihrer Verantwortung zu entziehen. Menschliches Urteilsvermögen, Aufsicht und Verantwortlichkeit bleiben unverzichtbar, insbesondere wenn Entscheidungen das Leben anderer Menschen beeinflussen.
Vania Noteva, Bulgarien, KI-Enthusiastin
Leer en español (ES)Cuando una decisión basada en IA perjudica a alguien, la responsabilidad debe recaer, en última instancia, en la persona que tomó o aprobó dicha decisión. La IA es una herramienta, no un agente moral independiente, y las personas no deberían utilizarla como excusa para eludir su responsabilidad. El criterio humano, la supervisión y la rendición de cuentas siguen siendo esenciales, especialmente cuando las decisiones afectan a la vida de otras personas.
Vania Noteva, Bulgaria, entusiasta de la IA
Прочетете на български (BG)Когато решение, взето с помощта на изкуствен интелект, навреди на някого, отговорността в крайна сметка трябва да остане у човека, който е взел или одобрил решението. ИИ е инструмент, а не самостоятелен морален субект, и хората не бива да го използват като оправдание, за да избегнат отговорност. Човешката преценка, надзорът и поемането на отговорност продължават да бъдат от съществено значение, особено когато решенията засягат живота на други хора.
Vania Noteva, България, ентусиаст в областта на изкуствения интелект
Depending on the type of harm that is done, who has used the model – this is to me a matter of future legal regulation, but I see liability similar to liability of medical personnel when a mistake is made (to give one example how I would solve).
Nikoleta Kovachka, works in consulting services in AI since 2016, Bulgaria, AI Expert
Læs på dansk (DK)Afhængigt af hvilken type skade der er sket, og hvem der har brugt modellen, mener jeg, at dette er et spørgsmål, der bør reguleres juridisk i fremtiden. Jeg ser dog gerne et ansvarssystem, der minder om det, der gælder for sundhedspersonale, når der begås en fejl. Det er ét eksempel på, hvordan jeg ville løse spørgsmålet.
Nikoleta Kovachka, arbejder med konsulentydelser inden for AI siden 2016, Bulgarien, AI-ekspert
Auf Deutsch lesen (DE)Je nach Art des entstandenen Schadens und danach, wer das Modell verwendet hat, handelt es sich meiner Ansicht nach um eine Frage, die künftig rechtlich geregelt werden muss. Ich könnte mir jedoch eine Haftungsregelung vorstellen, die der Haftung von medizinischem Fachpersonal bei einem Fehler ähnelt. Das ist ein Beispiel dafür, wie ich dieses Problem lösen würde.
Nikoleta Kovachka, seit 2016 in der KI-Beratung tätig, Bulgarien, KI-Expertin
Leer en español (ES)Dependiendo del tipo de daño causado y de quién haya utilizado el modelo, considero que se trata de una cuestión que deberá regularse jurídicamente en el futuro. No obstante, plantearía un sistema de responsabilidad similar al que se aplica al personal sanitario cuando comete un error. Este sería un ejemplo de cómo resolvería la cuestión.
Nikoleta Kovachka, trabaja en servicios de consultoría en IA desde 2016, Bulgaria, experta en IA
Прочетете на български (BG)В зависимост от вида на причинената вреда и от това кой е използвал модела, според мен въпросът трябва да бъде уреден чрез бъдеща правна регулация. Бих предложила обаче система за отговорност, подобна на тази, която се прилага към медицинските специалисти, когато допуснат грешка. Това е един пример за начина, по който бих решила този въпрос.
Nikoleta Kovachka, работи в консултантски услуги в областта на ИИ от 2016 г., България, експерт по изкуствен интелект
350
2
0
Would love your thoughts, please comment.x
()
x