As AI systems become more autonomous, they may be able to make decisions, complete tasks and act with less human involvement. That could bring major benefits, but it also raises difficult questions. What happens when an autonomous system makes a serious mistake? Who remains responsible? And what happens if people become too dependent on systems they do not fully understand? Explore ten perspectives on control, accountability, misinformation, human skills and the importance of keeping people involved in important decisions.
BEFORE YOU READ...
How much control would you be willing to give an AI?
Imagine an AI system that could independently manage your finances, make decisions at work or act on your behalf online. Which tasks would you trust it with? Which decisions would you always want a human to approve?
Explore Different Perspectives
Discover ten perspectives on autonomous AI, from loss of human control and unclear responsibility to misinformation, overdependence, security risks and the importance of meaningful human oversight.
Chakraborty Avishek — More autonomy, less control? The risks of letting AI decide on its own
One significant concern of AI becoming extremely independent is a loss of human control. If AI systems make their own decisions, they have the potential to do substantial harm in areas such as healthcare and transportation. Accountability is another issue, as it is unclear who is liable when anything goes wrong. When autonomous AI is fed with unfair data, it may propagate bias and discrimination. Job displacement is another issue, since powerful AI has the potential to replace both manual and skilled labour. Finally, powerful autonomous systems may be misused for surveillance, misinformation, or cyberattacks, which makes strict control and legislation necessary.
Chakraborty Avishek, Denmark, Master student, AI Enthusiast
Læs på dansk (DK)
En væsentlig bekymring ved, at AI bliver ekstremt selvstændig, er tabet af menneskelig kontrol. Hvis AI-systemer træffer deres egne beslutninger, kan de potentielt forårsage betydelig skade inden for områder som sundhedsvæsen og transport. Ansvarlighed er et andet problem, da det er uklart, hvem der har ansvaret, når noget går galt. Hvis autonom AI trænes på uretfærdige eller skævvredne data, kan den videreføre bias og diskrimination. Tab af arbejdspladser er endnu en udfordring, da avanceret AI potentielt kan erstatte både manuelt arbejde og faglært arbejdskraft. Endelig kan kraftfulde autonome systemer misbruges til overvågning, misinformation eller cyberangreb, hvilket gør streng kontrol og lovgivning nødvendig.Chakraborty Avishek, Danmark, kandidatstuderende, AI-entusiast
Auf Deutsch lesen (DE)
Eine wesentliche Sorge im Zusammenhang mit einer zunehmend eigenständigen KI ist der Verlust menschlicher Kontrolle. Wenn KI-Systeme ihre eigenen Entscheidungen treffen, können sie in Bereichen wie dem Gesundheitswesen und dem Verkehr erheblichen Schaden anrichten. Ein weiteres Problem ist die Verantwortlichkeit, da unklar ist, wer haftet, wenn etwas schiefgeht. Wenn autonome KI mit unfairen oder verzerrten Daten trainiert wird, kann sie Vorurteile und Diskriminierung weiterverbreiten. Auch die Verdrängung von Arbeitsplätzen stellt ein Problem dar, da leistungsfähige KI sowohl manuelle als auch qualifizierte Arbeit ersetzen könnte. Schließlich können leistungsstarke autonome Systeme für Überwachung, Desinformation oder Cyberangriffe missbraucht werden, weshalb strenge Kontrollen und gesetzliche Regelungen notwendig sind.Chakraborty Avishek, Dänemark, Masterstudent, KI-Enthusiast
Leer en español (ES)
Una de las principales preocupaciones ante la posibilidad de que la IA se vuelva extremadamente autónoma es la pérdida de control humano. Si los sistemas de IA toman sus propias decisiones, podrían causar daños considerables en ámbitos como la sanidad y el transporte. La responsabilidad es otro problema, ya que no está claro quién debe responder cuando algo sale mal. Cuando una IA autónoma se alimenta de datos injustos o sesgados, puede perpetuar los prejuicios y la discriminación. La pérdida de puestos de trabajo es otra preocupación, puesto que una IA avanzada podría sustituir tanto el trabajo manual como el cualificado. Por último, los sistemas autónomos más potentes podrían utilizarse indebidamente para la vigilancia, la desinformación o los ciberataques, lo que hace necesarios controles estrictos y una regulación adecuada.Chakraborty Avishek, Dinamarca, estudiante de máster, entusiasta de la IA
Прочетете на български (BG)
Едно от основните притеснения, свързани с това ИИ да стане изключително самостоятелен, е загубата на човешки контрол. Ако системите с ИИ вземат решения самостоятелно, те могат да причинят значителни вреди в области като здравеопазването и транспорта. Отговорността е друг проблем, тъй като не е ясно кой носи отговорност, когато нещо се обърка. Когато автономният ИИ се обучава с несправедливи или пристрастни данни, той може да възпроизвежда предразсъдъци и дискриминация. Загубата на работни места също е проблем, тъй като мощният ИИ има потенциала да замени както ръчния, така и квалифицирания труд. И накрая, мощните автономни системи могат да бъдат използвани неправомерно за наблюдение, дезинформация или кибератаки, което прави необходимите строгия контрол и законодателните мерки.Chakraborty Avishek, Дания, студент в магистърска програма, ентусиаст в областта на ИИ
Daniel Juhasz — Are we chasing autonomous AI when simpler tools might work better?
I believe most of the risks do not come from the technology itself but rather from people misunderstanding what AI can and (more importantly) cannot do. If AI becomes significantly more autonomous, I also fear that the discrepancy between what is a good use case for AI and what AI is actually used to do will increase – in particular because the perceived productivity gain will be impossible to resist. In the context of my research on the use of AI in the public sector, the main reason for using AI seems to be productivity increases, and I fear that the bloated promises of “agentic” and autonomous AI could result in our societies missing out on low-hanging AI productivity gains because decision-makers want the newest and shiniest AI thing.
Daniel Juhasz, Denmark, PhD student, AI Expert
Læs på dansk (DK)
Jeg mener, at de fleste risici ikke stammer fra selve teknologien, men snarere fra, at mennesker misforstår, hvad AI kan og (endnu vigtigere) ikke kan. Hvis AI bliver betydeligt mere autonom, frygter jeg også, at forskellen mellem, hvad AI egner sig godt til, og hvad AI faktisk bliver brugt til, vil vokse — især fordi de forventede produktivitetsgevinster vil være umulige at modstå. I forbindelse med min forskning i anvendelsen af AI i den offentlige sektor ser øget produktivitet ud til at være den vigtigste begrundelse for at bruge AI. Jeg frygter, at de overdrevne løfter om “agentbaseret” og autonom AI kan føre til, at vores samfund går glip af de lettilgængelige produktivitetsgevinster ved AI, fordi beslutningstagerne hellere vil have den nyeste og mest imponerende AI-teknologi.Daniel Juhasz, Danmark, ph.d.-studerende, AI-ekspert
Auf Deutsch lesen (DE)
Ich glaube, dass die meisten Risiken nicht von der Technologie selbst ausgehen, sondern vielmehr davon, dass Menschen missverstehen, was KI leisten kann und (noch wichtiger) was sie nicht leisten kann. Wenn KI deutlich autonomer wird, befürchte ich außerdem, dass die Diskrepanz zwischen sinnvollen Anwendungsfällen für KI und ihrem tatsächlichen Einsatz größer werden wird — insbesondere, weil die vermeintlichen Produktivitätsgewinne kaum zu widerstehen sein werden. Im Rahmen meiner Forschung zum Einsatz von KI im öffentlichen Sektor scheint die Steigerung der Produktivität der wichtigste Grund für den Einsatz von KI zu sein. Ich befürchte, dass die übertriebenen Versprechungen rund um „agentenbasierte“ und autonome KI dazu führen könnten, dass unsere Gesellschaften leicht erreichbare Produktivitätsgewinne durch KI verpassen, weil Entscheidungsträger unbedingt die neueste und glänzendste KI-Technologie einsetzen wollen.Daniel Juhasz, Dänemark, Doktorand, KI-Experte
Leer en español (ES)
Creo que la mayoría de los riesgos no proceden de la propia tecnología, sino más bien de que las personas no comprenden correctamente lo que la IA puede hacer y, lo que es aún más importante, lo que no puede hacer. Si la IA se vuelve considerablemente más autónoma, también temo que aumente la diferencia entre los casos en los que realmente resulta adecuado utilizarla y aquellos en los que se utiliza en la práctica, especialmente porque será imposible resistirse a las supuestas ganancias de productividad. En el contexto de mi investigación sobre el uso de la IA en el sector público, el principal motivo para utilizarla parece ser el aumento de la productividad. Me preocupa que las promesas exageradas de la IA «basada en agentes» y autónoma puedan hacer que nuestras sociedades desaprovechen mejoras de productividad fáciles de conseguir con la IA, simplemente porque quienes toman las decisiones quieren utilizar la tecnología de IA más novedosa y llamativa.Daniel Juhasz, Dinamarca, estudiante de doctorado, experto en IA
Прочетете на български (BG)
Смятам, че повечето рискове не произтичат от самата технология, а по-скоро от това, че хората не разбират правилно какво ИИ може и (още по-важно) какво не може да прави. Ако ИИ стане значително по-автономен, се опасявам също, че разликата между подходящите приложения на ИИ и начините, по които той действително се използва, ще се увеличи — особено защото предполагаемите ползи за производителността ще бъдат твърде изкушаващи, за да бъдат пренебрегнати. В контекста на моите изследвания върху използването на ИИ в публичния сектор основната причина за внедряването му изглежда е повишаването на производителността. Опасявам се, че преувеличените обещания за „агентен“ и автономен ИИ могат да доведат до това обществата ни да пропуснат лесно постижимите подобрения в производителността чрез ИИ, защото хората, които вземат решения, искат най-новата и най-впечатляваща технология с ИИ.Daniel Juhasz, Дания, докторант, експерт по ИИ
Ibon Arrazola — Could autonomous AI weaken our ability to think for ourselves?
What risks might AI pose if it becomes more autonomous? Well, what I think is that it could eventually become so autonomous that it makes us, in a way, stupid. I mean, we tend to rely on everything to answer everything at work, in our daily lives, in GPT chats. So I think that in the very long run, it could reduce our capacity for thought and reasoning, or that this AI could be manipulated and give us the information that a certain person or group wants us to think.
Arrazola Ibon , Spain, Expert
Læs på dansk (DK)
Hvilke risici kan AI udgøre, hvis den bliver mere autonom? Jeg tror, at den med tiden kan blive så selvstændig, at den på en måde gør os dumme. Jeg mener, at vi har en tendens til at stole på, at teknologien giver os svar på alt, både på arbejdet, i vores hverdag og i samtaler med GPT. Derfor tror jeg, at den på meget lang sigt kan svække vores evne til at tænke og ræsonnere. Der er også en risiko for, at AI kan blive manipuleret, så den giver os den information, som en bestemt person eller gruppe ønsker, at vi skal tro på.Arrazola Ibon, Spanien, ekspert
Auf Deutsch lesen (DE)
Welche Risiken könnte KI mit sich bringen, wenn sie autonomer wird? Nun, ich denke, dass sie irgendwann so selbstständig werden könnte, dass sie uns gewissermaßen dumm macht. Ich meine, wir neigen dazu, uns darauf zu verlassen, dass sie uns auf alles eine Antwort gibt, sei es bei der Arbeit, im Alltag oder in Gesprächen mit GPT. Deshalb glaube ich, dass sie auf sehr lange Sicht unsere Fähigkeit zum Denken und logischen Schlussfolgern beeinträchtigen könnte. Außerdem besteht die Gefahr, dass diese KI manipuliert wird und uns Informationen liefert, die eine bestimmte Person oder Gruppe uns glauben machen möchte.Arrazola Ibon, Spanien, Experte
Leer en español (ES)
¿Qué riesgos podría plantear la IA si se vuelve más autónoma? Bueno, yo creo que podría llegar a ser tan autónoma que, de alguna manera, nos volviera tontos. Quiero decir, tendemos a depender de ella para obtener respuestas a todo, tanto en el trabajo como en nuestra vida cotidiana o en las conversaciones con GPT. Por eso creo que, a muy largo plazo, podría reducir nuestra capacidad de pensamiento y razonamiento. También existe el riesgo de que esta IA sea manipulada y nos proporcione la información que una determinada persona o grupo quiere que creamos.Arrazola Ibon, España, experto
Прочетете на български (BG)
Какви рискове може да създаде ИИ, ако стане по-автономен? Ами, според мен той може в крайна сметка да стане толкова самостоятелен, че в известен смисъл да ни направи глупави. Имам предвид, че сме склонни да разчитаме на него за отговори на всичко — на работа, в ежедневието си и в разговорите с GPT. Затова смятам, че в много дългосрочен план той може да намали способността ни да мислим и разсъждаваме. Съществува и риск този ИИ да бъде манипулиран и да ни предоставя информацията, в която определен човек или група иска да вярваме.Arrazola Ibon, Испания, експерт
Mikel Gonzalez — From human relationships to justice: What should AI never take over?
We are becoming dehumanized. I believe that if artificial intelligence becomes significantly more autonomous, many of the relationships we have today could end up being relationships between humans and artificial intelligence. On the other hand, I think that if AI achieves greater autonomy, we could make the grave mistake of managing areas such as justice and education through artificial intelligence. Furthermore, the widespread misinformation it has been generating lately, if it improves— which it probably will—will make it more difficult to verify information. Videos and images created by AI are a major source of misinformation.
Gonzalez Mikel, Spain, Educator
Læs på dansk (DK)
Vi bliver mere og mere umenneskelige. Jeg tror, at hvis kunstig intelligens bliver betydeligt mere autonom, kan mange af de relationer, vi har i dag, ende med at blive relationer mellem mennesker og kunstig intelligens. På den anden side mener jeg, at hvis AI opnår større selvstændighed, kan vi begå den alvorlige fejl at lade kunstig intelligens styre områder som retsvæsenet og uddannelsessystemet. Desuden vil den omfattende misinformation, som AI på det seneste har været med til at skabe, blive endnu vanskeligere at gennemskue, hvis teknologien forbedres — hvilket den sandsynligvis vil gøre. Videoer og billeder skabt med AI er en væsentlig kilde til misinformation.Gonzalez Mikel, Spanien, underviser
Auf Deutsch lesen (DE)
Wir werden zunehmend entmenschlicht. Ich glaube, dass viele der Beziehungen, die wir heute haben, zu Beziehungen zwischen Menschen und künstlicher Intelligenz werden könnten, wenn KI deutlich autonomer wird. Andererseits denke ich, dass wir einen schwerwiegenden Fehler begehen könnten, wenn wir bei zunehmender Autonomie der KI Bereiche wie die Justiz und das Bildungswesen durch künstliche Intelligenz verwalten lassen. Darüber hinaus wird es durch die weitverbreitete Desinformation, die KI in letzter Zeit erzeugt hat, noch schwieriger werden, Informationen zu überprüfen, wenn sich die Technologie weiter verbessert — was wahrscheinlich der Fall sein wird. KI-generierte Videos und Bilder sind eine bedeutende Quelle für Desinformation.Gonzalez Mikel, Spanien, Pädagoge
Leer en español (ES)
Nos estamos deshumanizando. Creo que, si la inteligencia artificial se vuelve considerablemente más autónoma, muchas de las relaciones que tenemos hoy en día podrían acabar convirtiéndose en relaciones entre seres humanos e inteligencia artificial. Por otro lado, pienso que, si la IA alcanza una mayor autonomía, podríamos cometer el grave error de gestionar ámbitos como la justicia y la educación mediante inteligencia artificial. Además, la desinformación generalizada que ha estado generando últimamente hará que resulte todavía más difícil verificar la información si la tecnología mejora, algo que probablemente sucederá. Los vídeos y las imágenes creados con IA son una importante fuente de desinformación.Gonzalez Mikel, España, educador
Прочетете на български (BG)
Ставаме все по-нечовечни. Смятам, че ако изкуственият интелект стане значително по-автономен, много от отношенията, които имаме днес, могат в крайна сметка да се превърнат в отношения между хора и изкуствен интелект. От друга страна, мисля, че ако ИИ постигне по-голяма автономност, можем да допуснем сериозната грешка да поверим управлението на области като правосъдието и образованието на изкуствения интелект. Освен това широко разпространената дезинформация, която той генерира напоследък, ще направи проверката на информацията още по-трудна, ако технологията се усъвършенства — което вероятно ще се случи. Видеоклиповете и изображенията, създадени с ИИ, са значителен източник на дезинформация.Gonzalez Mikel, Испания, преподавател
Razzaq Zain — Autonomous AI in warfare: Why human oversight matters
I think one of the biggest risks of highly autonomous AI is the loss of human control, especially in critical areas like defense and security. I’m particularly concerned about the use of AI in warfare, where systems may be used to identify or select targets.
Even today, AI systems can make mistakes or misinterpret data. If such systems are given too much autonomy, those errors could have serious real-world consequences. Another challenge is that once systems become highly autonomous, it can be difficult to fully understand or predict their behavior. As autonomy increases, ensuring accountability and oversight becomes more complex.
Because of this, I believe it’s crucial to maintain strong human oversight and set clear boundaries on how much autonomy AI systems are given especially in military applications. There should be strict regulations, testing, and monitoring to ensure these technologies are used responsibly.
Razzaq Zain, Spain, Expert on AI
Læs på dansk (DK)
Jeg mener, at en af de største risici ved meget autonom AI er tabet af menneskelig kontrol, især på kritiske områder som forsvar og sikkerhed. Jeg er særligt bekymret over brugen af AI i krigsførelse, hvor systemer kan anvendes til at identificere eller udvælge mål. Selv i dag kan AI-systemer begå fejl eller fejlfortolke data. Hvis sådanne systemer får for stor selvstændighed, kan disse fejl få alvorlige konsekvenser i den virkelige verden. En anden udfordring er, at det kan være vanskeligt fuldt ud at forstå eller forudsige systemernes adfærd, når de bliver meget autonome. Efterhånden som autonomien øges, bliver det mere komplekst at sikre ansvarlighed og tilsyn. Derfor mener jeg, at det er afgørende at opretholde et stærkt menneskeligt tilsyn og fastsætte klare grænser for, hvor stor selvstændighed AI-systemer må have, især i militære anvendelser. Der bør være strenge regler, test og løbende overvågning for at sikre, at disse teknologier anvendes ansvarligt.Razzaq Zain, Spanien, AI-ekspert
Auf Deutsch lesen (DE)
Ich denke, eines der größten Risiken hochautonomer KI ist der Verlust menschlicher Kontrolle, insbesondere in kritischen Bereichen wie Verteidigung und Sicherheit. Besonders besorgt bin ich über den Einsatz von KI in der Kriegsführung, wo Systeme zur Identifizierung oder Auswahl von Zielen eingesetzt werden könnten. Schon heute können KI-Systeme Fehler machen oder Daten falsch interpretieren. Wenn solchen Systemen zu viel Autonomie eingeräumt wird, könnten diese Fehler schwerwiegende Folgen in der realen Welt haben. Eine weitere Herausforderung besteht darin, dass es schwierig sein kann, das Verhalten hochautonomer Systeme vollständig zu verstehen oder vorherzusagen. Mit zunehmender Autonomie wird es immer komplexer, Verantwortlichkeit und Aufsicht sicherzustellen. Deshalb halte ich es für entscheidend, eine starke menschliche Aufsicht aufrechtzuerhalten und klare Grenzen dafür festzulegen, wie viel Autonomie KI-Systemen eingeräumt wird, insbesondere bei militärischen Anwendungen. Es sollte strenge Vorschriften, Tests und eine kontinuierliche Überwachung geben, um sicherzustellen, dass diese Technologien verantwortungsvoll eingesetzt werden.Razzaq Zain, Spanien, KI-Experte
Leer en español (ES)
Creo que uno de los mayores riesgos de una IA altamente autónoma es la pérdida de control humano, especialmente en ámbitos críticos como la defensa y la seguridad. Me preocupa especialmente el uso de la IA en los conflictos bélicos, donde estos sistemas podrían utilizarse para identificar o seleccionar objetivos. Incluso hoy en día, los sistemas de IA pueden cometer errores o interpretar incorrectamente los datos. Si se concede demasiada autonomía a estos sistemas, esos errores podrían tener graves consecuencias en el mundo real. Otro desafío es que, cuando los sistemas alcanzan un alto grado de autonomía, puede resultar difícil comprender o predecir completamente su comportamiento. A medida que aumenta la autonomía, garantizar la responsabilidad y la supervisión se vuelve más complejo. Por este motivo, creo que es fundamental mantener una supervisión humana rigurosa y establecer límites claros sobre el grado de autonomía que se concede a los sistemas de IA, especialmente en las aplicaciones militares. Deberían existir regulaciones estrictas, pruebas y mecanismos de seguimiento para garantizar que estas tecnologías se utilicen de manera responsable.Razzaq Zain, España, experto en IA
Прочетете на български (BG)
Смятам, че един от най-големите рискове при силно автономния ИИ е загубата на човешки контрол, особено в критични области като отбраната и сигурността. Особено ме тревожи използването на ИИ във военни действия, където системите могат да се използват за идентифициране или избор на цели. Дори днес системите с ИИ могат да допускат грешки или да тълкуват неправилно данните. Ако на такива системи се предостави прекалено голяма автономност, тези грешки могат да имат сериозни последици в реалния свят. Друго предизвикателство е, че когато системите станат силно автономни, може да бъде трудно да разберем напълно или да предвидим поведението им. С увеличаването на автономността осигуряването на отчетност и надзор става все по-сложно. Поради тази причина смятам, че е изключително важно да се запази строг човешки надзор и да се определят ясни граници на автономността, която се предоставя на системите с ИИ, особено при военни приложения. Трябва да има строги регулации, изпитвания и постоянно наблюдение, за да се гарантира, че тези технологии се използват отговорно.Razzaq Zain, Испания, експерт по ИИ
Beate Krainz — Losing control, skills and empathy: The human risks of greater AI autonomy
If AI systems become much more autonomous, there will be many opportunities as well as considerable risks. A central problem is the possible loss of human control. When AI makes decisions on its own, it becomes increasingly difficult to understand how these decisions are made. Another risk is that basic human skills are lost or unlearned. Many people could rely too heavily on AI and forget that AI can also make mistakes. This reduces the motivation to think critically and to question results. If AI takes over many routine tasks, simple skills such as mental arithmetic, reading skills or the independent solving of everyday problems could become less important and be unlearned in the long term.
A particularly important point is also that AI has no empathy. She can’t really understand emotions or respond to them appropriately. In situations where people need support or compassion, this could lead to wrong or inappropriate decisions. There are also risks in the labour market. Increasing automation could lead to the loss of many jobs, especially low-threshold activities. This can increase social inequalities if there are not enough new employment opportunities or if people are not retrained in time. In addition, creativity could also suffer. If AI increasingly dictates ideas or takes over tasks, there is a risk that people will think less creatively for themselves and that innovation will decline overall.
Mag. Beate Krainz, teacher, Austria, AI Educator
Læs på dansk (DK)
Hvis AI-systemer bliver langt mere autonome, vil der opstå mange muligheder, men også betydelige risici. Et centralt problem er det mulige tab af menneskelig kontrol. Når AI træffer beslutninger på egen hånd, bliver det stadig vanskeligere at forstå, hvordan disse beslutninger bliver truffet. En anden risiko er, at grundlæggende menneskelige færdigheder går tabt eller bliver glemt. Mange mennesker kan komme til at stole for meget på AI og glemme, at teknologien også kan begå fejl. Det mindsker motivationen til at tænke kritisk og stille spørgsmål ved resultaterne. Hvis AI overtager mange rutineopgaver, kan simple færdigheder som hovedregning, læsefærdigheder eller evnen til selvstændigt at løse hverdagens problemer blive mindre vigtige og på længere sigt gå tabt. Et særligt vigtigt punkt er også, at AI ikke har empati. Den kan ikke virkelig forstå følelser eller reagere passende på dem. I situationer, hvor mennesker har brug for støtte eller medfølelse, kan det føre til forkerte eller uhensigtsmæssige beslutninger. Der er også risici på arbejdsmarkedet. Øget automatisering kan føre til tab af mange arbejdspladser, især inden for opgaver med lave adgangskrav. Det kan øge de sociale uligheder, hvis der ikke opstår tilstrækkeligt mange nye jobmuligheder, eller hvis mennesker ikke bliver omskolet i tide. Derudover kan kreativiteten også lide skade. Hvis AI i stigende grad dikterer idéer eller overtager opgaver, er der risiko for, at mennesker selv tænker mindre kreativt, og at innovationen generelt falder.Mag. Beate Krainz, lærer, Østrig, AI-underviser
Auf Deutsch lesen (DE)
Wenn KI-Systeme wesentlich autonomer werden, entstehen viele Chancen, aber auch erhebliche Risiken. Ein zentrales Problem ist der mögliche Verlust menschlicher Kontrolle. Wenn KI eigenständig Entscheidungen trifft, wird es zunehmend schwieriger nachzuvollziehen, wie diese Entscheidungen zustande kommen. Ein weiteres Risiko besteht darin, dass grundlegende menschliche Fähigkeiten verloren gehen oder verlernt werden. Viele Menschen könnten sich zu stark auf KI verlassen und vergessen, dass auch KI Fehler machen kann. Dadurch sinkt die Motivation, kritisch zu denken und Ergebnisse zu hinterfragen. Wenn KI viele Routineaufgaben übernimmt, könnten einfache Fähigkeiten wie Kopfrechnen, Lesen oder das selbstständige Lösen alltäglicher Probleme an Bedeutung verlieren und langfristig verlernt werden. Ein besonders wichtiger Punkt ist außerdem, dass KI keine Empathie besitzt. Sie kann Gefühle nicht wirklich verstehen oder angemessen darauf reagieren. In Situationen, in denen Menschen Unterstützung oder Mitgefühl benötigen, könnte dies zu falschen oder unangemessenen Entscheidungen führen. Auch auf dem Arbeitsmarkt bestehen Risiken. Die zunehmende Automatisierung könnte zum Verlust vieler Arbeitsplätze führen, insbesondere bei Tätigkeiten mit niedrigen Zugangshürden. Dies kann soziale Ungleichheiten verstärken, wenn nicht genügend neue Beschäftigungsmöglichkeiten entstehen oder Menschen nicht rechtzeitig umgeschult werden. Darüber hinaus könnte auch die Kreativität leiden. Wenn KI zunehmend Ideen vorgibt oder Aufgaben übernimmt, besteht die Gefahr, dass Menschen selbst weniger kreativ denken und die Innovationskraft insgesamt nachlässt.Mag. Beate Krainz, Lehrerin, Österreich, KI-Pädagogin
Leer en español (ES)
Si los sistemas de IA se vuelven mucho más autónomos, surgirán numerosas oportunidades, pero también riesgos considerables. Uno de los principales problemas es la posible pérdida de control humano. Cuando la IA toma decisiones por sí misma, resulta cada vez más difícil comprender cómo se han tomado esas decisiones. Otro riesgo es que se pierdan o se dejen de practicar habilidades humanas básicas. Muchas personas podrían depender demasiado de la IA y olvidar que esta también puede cometer errores. Esto reduce la motivación para pensar de forma crítica y cuestionar los resultados. Si la IA asume muchas tareas rutinarias, habilidades sencillas como el cálculo mental, la lectura o la resolución autónoma de problemas cotidianos podrían perder importancia y acabar desapareciendo a largo plazo por falta de práctica. Otro aspecto especialmente importante es que la IA carece de empatía. No puede comprender realmente las emociones ni responder a ellas de manera adecuada. En situaciones en las que las personas necesitan apoyo o comprensión, esto podría dar lugar a decisiones erróneas o inapropiadas. También existen riesgos en el mercado laboral. El aumento de la automatización podría provocar la desaparición de numerosos puestos de trabajo, especialmente en actividades que requieren poca cualificación o tienen pocos requisitos de acceso. Esto puede incrementar las desigualdades sociales si no se generan suficientes oportunidades de empleo o si las personas no reciben formación para adaptarse a tiempo. Además, la creatividad también podría verse perjudicada. Si la IA determina cada vez más las ideas o asume tareas, existe el riesgo de que las personas piensen de manera menos creativa por sí mismas y de que la innovación disminuya en general.Mag. Beate Krainz, profesora, Austria, educadora en IA
Прочетете на български (BG)
Ако системите с ИИ станат много по-автономни, ще се появят множество възможности, но и значителни рискове. Един от основните проблеми е възможната загуба на човешки контрол. Когато ИИ взема решения самостоятелно, става все по-трудно да се разбере как се стига до тези решения. Друг риск е загубата или забравянето на основни човешки умения. Много хора могат да започнат да разчитат прекалено много на ИИ и да забравят, че той също може да допуска грешки. Това намалява мотивацията за критично мислене и за поставяне на резултатите под съмнение. Ако ИИ поеме много рутинни задачи, прости умения като смятане наум, четене или самостоятелно решаване на ежедневни проблеми могат да станат по-малко важни и в дългосрочен план да бъдат забравени поради липса на практика. Особено важен момент е и това, че ИИ няма емпатия. Той не може истински да разбира емоциите или да реагира адекватно на тях. В ситуации, в които хората се нуждаят от подкрепа или съчувствие, това може да доведе до погрешни или неподходящи решения. Съществуват и рискове на пазара на труда. Нарастващата автоматизация може да доведе до загубата на много работни места, особено при дейности с ниски изисквания за квалификация. Това може да увеличи социалните неравенства, ако не се създадат достатъчно нови възможности за заетост или ако хората не бъдат преквалифицирани навреме. Освен това творчеството също може да пострада. Ако ИИ все по-често определя идеите или поема задачи, съществува риск хората да мислят по-малко творчески самостоятелно и иновациите като цяло да намалеят.Mag. Beate Krainz, учителка, Австрия, преподавател по ИИ
Oliver Königshofer — More autonomy means more responsibility: Why boundaries still matter
The greatest risks are loss of control, wrong decisions, lack of transparency and dependence. More autonomous AI can make decisions whose foundations are difficult for humans to understand. In addition, there are risks from abuse, disinformation, discrimination and security problems. The more autonomous systems become, the more important clear rules, human oversight and ethical boundaries become.
Oliver Königshofer, IT, Business and Project Coordination, Austria, AI Enthusiast
Læs på dansk (DK)
De største risici er tab af kontrol, forkerte beslutninger, manglende gennemsigtighed og afhængighed. Mere autonom AI kan træffe beslutninger, hvor det er svært for mennesker at forstå grundlaget for dem. Derudover er der risici forbundet med misbrug, desinformation, diskrimination og sikkerhedsproblemer. Jo mere autonome systemerne bliver, desto vigtigere bliver klare regler, menneskeligt tilsyn og etiske grænser.Oliver Königshofer, IT, virksomheds- og projektkoordinering, Østrig, AI-entusiast
Auf Deutsch lesen (DE)
Die größten Risiken sind Kontrollverlust, Fehlentscheidungen, mangelnde Transparenz und Abhängigkeit. Eine autonomere KI kann Entscheidungen treffen, deren Grundlagen für Menschen schwer nachvollziehbar sind. Darüber hinaus bestehen Risiken durch Missbrauch, Desinformation, Diskriminierung und Sicherheitsprobleme. Je autonomer die Systeme werden, desto wichtiger werden klare Regeln, menschliche Aufsicht und ethische Grenzen.Oliver Königshofer, IT, Unternehmens- und Projektkoordination, Österreich, KI-Enthusiast
Leer en español (ES)
Los mayores riesgos son la pérdida de control, las decisiones equivocadas, la falta de transparencia y la dependencia. Una IA más autónoma puede tomar decisiones cuyos fundamentos resulten difíciles de comprender para los seres humanos. Además, existen riesgos relacionados con el uso indebido, la desinformación, la discriminación y los problemas de seguridad. Cuanto más autónomos se vuelvan estos sistemas, más importantes serán las normas claras, la supervisión humana y los límites éticos.Oliver Königshofer, informática, coordinación empresarial y de proyectos, Austria, entusiasta de la IA
Прочетете на български (BG)
Най-големите рискове са загубата на контрол, погрешните решения, липсата на прозрачност и зависимостта. По-автономният ИИ може да взема решения, чиито основания са трудни за разбиране от хората. Освен това съществуват рискове, свързани със злоупотреби, дезинформация, дискриминация и проблеми със сигурността. Колкото по-автономни стават системите, толкова по-важни стават ясните правила, човешкият надзор и етичните граници.Oliver Königshofer, ИТ, бизнес и координация на проекти, Австрия, ентусиаст в областта на ИИ
Bastian Voigtmann-Meising — When we cannot understand the answer, can we still trust it?
Results that are incomprehensible for humans and therefore fact becomes indistiguishable from fiction and truth from lies. You might compare this with the usage of a calculator while lacking the skills of basic arithmetics.
Bastian Voigtmann-Meising, Advisor for Research Infrastructure Officer, Germany, AI Enthusiast
Læs på dansk (DK)
Resultater, som mennesker ikke kan forstå, og som derfor gør det umuligt at skelne mellem fakta og fiktion eller mellem sandhed og løgn. Man kan sammenligne det med at bruge en lommeregner uden at beherske grundlæggende regnefærdigheder.Bastian Voigtmann-Meising, rådgiver for en medarbejder med ansvar for forskningsinfrastruktur, Tyskland, AI-entusiast
Auf Deutsch lesen (DE)
Ergebnisse, die für Menschen unverständlich sind und dadurch dazu führen, dass Fakten nicht mehr von Fiktion und Wahrheit nicht mehr von Lügen zu unterscheiden sind. Man könnte dies damit vergleichen, einen Taschenrechner zu benutzen, ohne die grundlegenden Rechenarten zu beherrschen.Bastian Voigtmann-Meising, Berater für einen Beauftragten für Forschungsinfrastruktur, Deutschland, KI-Enthusiast
Leer en español (ES)
Resultados que resultan incomprensibles para los seres humanos y que, por tanto, hacen que los hechos sean indistinguibles de la ficción y la verdad de las mentiras. Podríamos compararlo con utilizar una calculadora sin dominar las operaciones aritméticas básicas.Bastian Voigtmann-Meising, asesor de un responsable de infraestructuras de investigación, Alemania, entusiasta de la IA
Прочетете на български (BG)
Резултати, които са неразбираеми за хората и поради това фактите стават неразличими от измислицата, а истината — от лъжата. Това може да се сравни с използването на калкулатор, без да се владеят основните аритметични действия.Bastian Voigtmann-Meising, съветник на служител, отговарящ за научноизследователската инфраструктура, Германия, ентусиаст в областта на ИИ
Juan Agustin Veliz — When autonomous agents go too far: The importance of setting limits
People are relying heavily on it and it is every day more common that I hear news of people making their personal data public by accident, losing important data or losing money by leaving autonomous AI agents running rampant without properly setting limitations.
Juan Agustin Veliz, Germany, AI Expert
Læs på dansk (DK)
Folk er i høj grad begyndt at stole på AI, og jeg hører stadig oftere om mennesker, der ved et uheld offentliggør deres personlige oplysninger, mister vigtige data eller taber penge, fordi de lader autonome AI-agenter arbejde uden tilstrækkelig kontrol og uden at fastsætte passende begrænsninger.Juan Agustin Veliz, Tyskland, AI-ekspert
Auf Deutsch lesen (DE)
Die Menschen verlassen sich zunehmend stark auf KI, und ich höre immer häufiger von Fällen, in denen Personen versehentlich ihre persönlichen Daten öffentlich zugänglich machen, wichtige Daten verlieren oder Geld einbüßen, weil sie autonome KI-Agenten unkontrolliert arbeiten lassen, ohne angemessene Grenzen festzulegen.Juan Agustin Veliz, Deutschland, KI-Experte
Leer en español (ES)
Las personas están dependiendo mucho de la IA y cada día es más habitual que escuche noticias sobre gente que hace públicos sus datos personales por accidente, pierde información importante o pierde dinero por dejar que los agentes autónomos de IA actúen sin control y sin establecer adecuadamente sus límites.Juan Agustin Veliz, Alemania, experto en IA
Прочетете на български (BG)
Хората разчитат все повече на ИИ и все по-често чувам новини за хора, които случайно правят личните си данни публично достъпни, губят важна информация или пари, защото оставят автономни ИИ агенти да действат безконтролно, без да са им поставили подходящи ограничения.Juan Agustin Veliz, Германия, експерт по ИИ
Radost Radanova — From misinformation to social isolation: The wider risks of autonomous AI
As artificial intelligence becomes increasingly autonomous, the risk of diminished human control over key processes and decisions is becoming ever more apparent. Systems whose internal mechanisms and priorities are not fully transparent may make decisions that are difficult to understand or challenge. This creates conditions for errors with real-world consequences, especially in situations where trust in technology outweighs critical judgment.
At the same time, the danger of distorting information and perceptions is growing. Increasingly sophisticated AI systems can generate content that appears convincing and credible, but does not always take context into account or may contain hidden biases. Such influences can shape opinions, guide decisions, and even alter public attitudes.
From a social perspective, there is a trend toward replacing human communication with digital interactions. This poses a risk of increased isolation and a gradual erosion of social skills and connections, which are key to personal development and social functioning.
The topic of education remains particularly sensitive. The expanding role of AI as a tool for task execution may lead to dependency and superficial knowledge acquisition. In the long term, this calls into question students’ ability to think independently and develop critical thinking.
Against this backdrop, questions of ethics and responsibility are becoming increasingly relevant. When an autonomous system makes a decision with negative consequences, the question of who bears responsibility—the developer, the user, or the technology itself—remains open.
Radost Radanova, Bulgaria, AI Educator
Læs på dansk (DK)
Efterhånden som kunstig intelligens bliver mere og mere autonom, bliver risikoen for, at mennesker mister kontrollen over centrale processer og beslutninger, stadig tydeligere. Systemer, hvis interne mekanismer og prioriteringer ikke er fuldt gennemsigtige, kan træffe beslutninger, som er vanskelige at forstå eller sætte spørgsmålstegn ved. Det skaber risiko for fejl med konsekvenser i den virkelige verden, især i situationer, hvor tilliden til teknologien vejer tungere end den kritiske dømmekraft. Samtidig vokser faren for forvrængning af information og opfattelser. Stadig mere avancerede AI-systemer kan generere indhold, der virker overbevisende og troværdigt, men som ikke altid tager højde for sammenhængen eller kan indeholde skjulte skævheder. Sådanne påvirkninger kan forme holdninger, styre beslutninger og endda ændre den offentlige opinion. Fra et socialt perspektiv er der en tendens til, at menneskelig kommunikation bliver erstattet af digitale interaktioner. Det medfører en risiko for øget isolation og en gradvis svækkelse af sociale færdigheder og relationer, som er afgørende for personlig udvikling og for at fungere i samfundet. Uddannelsesområdet er fortsat særligt følsomt. AI’s voksende rolle som et værktøj til at udføre opgaver kan føre til afhængighed og overfladisk tilegnelse af viden. På længere sigt rejser det spørgsmål om elevernes og de studerendes evne til at tænke selvstændigt og udvikle kritisk tænkning. På denne baggrund bliver spørgsmål om etik og ansvar stadig mere relevante. Når et autonomt system træffer en beslutning med negative konsekvenser, står spørgsmålet om, hvem der bærer ansvaret — udvikleren, brugeren eller selve teknologien — stadig åbent.Radost Radanova, Bulgarien, AI-underviser
Auf Deutsch lesen (DE)
Da künstliche Intelligenz zunehmend autonomer wird, tritt das Risiko einer abnehmenden menschlichen Kontrolle über wichtige Prozesse und Entscheidungen immer deutlicher hervor. Systeme, deren interne Mechanismen und Prioritäten nicht vollständig transparent sind, können Entscheidungen treffen, die schwer zu verstehen oder zu hinterfragen sind. Dadurch entstehen Bedingungen, unter denen Fehler mit realen Folgen auftreten können, insbesondere in Situationen, in denen das Vertrauen in die Technologie das kritische Urteilsvermögen überwiegt. Gleichzeitig wächst die Gefahr, dass Informationen und Wahrnehmungen verzerrt werden. Immer ausgefeiltere KI-Systeme können Inhalte erzeugen, die überzeugend und glaubwürdig erscheinen, den Kontext jedoch nicht immer berücksichtigen oder verborgene Verzerrungen enthalten können. Solche Einflüsse können Meinungen prägen, Entscheidungen lenken und sogar gesellschaftliche Einstellungen verändern. Aus gesellschaftlicher Sicht zeichnet sich ein Trend ab, bei dem menschliche Kommunikation zunehmend durch digitale Interaktionen ersetzt wird. Dies birgt das Risiko einer stärkeren Isolation und eines schrittweisen Verlusts sozialer Fähigkeiten und Beziehungen, die für die persönliche Entwicklung und das gesellschaftliche Zusammenleben von zentraler Bedeutung sind. Besonders sensibel bleibt der Bildungsbereich. Die wachsende Rolle der KI als Werkzeug zur Erledigung von Aufgaben kann zu Abhängigkeit und einer oberflächlichen Aneignung von Wissen führen. Langfristig stellt dies die Fähigkeit von Schülerinnen, Schülern und Studierenden infrage, selbstständig zu denken und kritisches Denken zu entwickeln. Vor diesem Hintergrund gewinnen Fragen der Ethik und Verantwortung zunehmend an Bedeutung. Wenn ein autonomes System eine Entscheidung mit negativen Folgen trifft, bleibt die Frage offen, wer dafür verantwortlich ist — der Entwickler, der Nutzer oder die Technologie selbst.Radost Radanova, Bulgarien, KI-Pädagogin
Leer en español (ES)
A medida que la inteligencia artificial se vuelve cada vez más autónoma, resulta más evidente el riesgo de que disminuya el control humano sobre procesos y decisiones fundamentales. Los sistemas cuyos mecanismos internos y prioridades no son completamente transparentes pueden tomar decisiones difíciles de comprender o cuestionar. Esto crea las condiciones para que se produzcan errores con consecuencias en el mundo real, especialmente en situaciones en las que la confianza en la tecnología prevalece sobre el juicio crítico. Al mismo tiempo, aumenta el peligro de distorsionar la información y las percepciones. Los sistemas de IA cada vez más sofisticados pueden generar contenidos que parecen convincentes y creíbles, pero que no siempre tienen en cuenta el contexto o pueden contener sesgos ocultos. Estas influencias pueden moldear opiniones, orientar decisiones e incluso modificar las actitudes de la sociedad. Desde una perspectiva social, existe una tendencia a sustituir la comunicación humana por interacciones digitales. Esto supone un riesgo de mayor aislamiento y de un deterioro gradual de las habilidades sociales y los vínculos personales, que son fundamentales para el desarrollo individual y la convivencia en sociedad. El ámbito educativo sigue siendo especialmente delicado. El papel cada vez mayor de la IA como herramienta para realizar tareas puede generar dependencia y favorecer una adquisición superficial de conocimientos. A largo plazo, esto pone en duda la capacidad del alumnado para pensar de forma autónoma y desarrollar el pensamiento crítico. En este contexto, las cuestiones relacionadas con la ética y la responsabilidad adquieren cada vez más relevancia. Cuando un sistema autónomo toma una decisión con consecuencias negativas, sigue abierta la pregunta de quién debe asumir la responsabilidad: el desarrollador, el usuario o la propia tecnología.Radost Radanova, Bulgaria, educadora en IA
Прочетете на български (BG)
С нарастващата автономност на изкуствения интелект рискът от намаляване на човешкия контрол върху ключови процеси и решения става все по-очевиден. Системи, чиито вътрешни механизми и приоритети не са напълно прозрачни, могат да вземат решения, които са трудни за разбиране или оспорване. Това създава предпоставки за грешки с реални последици, особено в ситуации, в които доверието в технологиите надделява над критичната преценка. В същото време нараства опасността от изкривяване на информацията и възприятията. Все по-усъвършенстваните системи с ИИ могат да генерират съдържание, което изглежда убедително и достоверно, но невинаги отчита контекста или може да съдържа скрити пристрастия. Подобни влияния могат да оформят мнения, да насочват решения и дори да променят обществените нагласи. От социална гледна точка се наблюдава тенденция човешкото общуване да се заменя с дигитални взаимодействия. Това създава риск от засилване на изолацията и постепенно отслабване на социалните умения и връзки, които са от ключово значение за личностното развитие и функционирането в обществото. Темата за образованието остава особено чувствителна. Разширяващата се роля на ИИ като инструмент за изпълнение на задачи може да доведе до зависимост и повърхностно усвояване на знания. В дългосрочен план това поставя под въпрос способността на учениците и студентите да мислят самостоятелно и да развиват критично мислене. На този фон въпросите за етиката и отговорността стават все по-актуални. Когато автономна система вземе решение с отрицателни последици, остава открит въпросът кой носи отговорност — разработчикът, потребителят или самата технология.Radost Radanova, България, преподавател по ИИ
