Trainiert auf Vorurteile: Bias in KI-Chatbots
Sie sind praktisch, wirken schlau und erklären dir alles zu jeder Zeit. Die KI-Chatbots, wie Chat GPT, sind bereits alltägliche Begleit-Tools vieler Österreicher:innen. Rund 44 Prozent der Bevölkerung nutzen KI regelmäßig, etwa für Recherche, als Schreibhilfe oder für Übersetzungen. Doch hinter KI-Chatbots verbirgt sich ein oft unterschätztes Problem: Sie reproduzieren gesellschaftliche Vorurteile. Wie ausgeprägt ist dieses Bias und stellt es eine Gefahr für unsere Gesellschaft dar?
Was genau ist ein KI-Chatbot?
Ein KI-Chatbot ist ein weiterentwickeltes Sprachmodell, oder Large Language Model (LLM), welches „mit einer riesigen Masse an Text trainiert wird und dabei lernt, das nächste Wort vorherzusagen”, erklärt Tim Kolber, Masterstudent in Computerlinguistik an der Universität Heidelberg. “Trainieren bedeutet in diesem Fall, dass das Sprachmodell einen Teil eines Satzes bekommt und es anschließend die Wahrscheinlichkeit berechnet, welches Wort daraufhin folgt. So arbeiten Sprachmodelle mit Algorithmen, die man nur als sehr komplex verstehen kann.” verdeutlicht Kolber. Nach seiner Einschätzung gilt für die Industrien der Standard, so viele Trainingsdaten wie möglich zu sammeln. Diese Daten können von überall her kommen, sei es aus gescannten Büchern, Zeitungsartikeln oder Internetforen wie Reddit. Beispielsweise nutzt das Unternehmen Meta Platforms, Inc., Inhaber von u.a. Facebook und Instagram, seit dem 27. Mai 2025 die öffentlich zugänglichen Daten ihrer europäischen Nutzer:innen.
Darüber hinaus weist Kolber darauf hin, dass der Großteil der Trainingsdaten aus westlichen Quellen stammt. Er präzisiert: “Da der Datensatz von LLMs überwiegend westlich zentriert ist, produzieren die Sprachmodelle Content aus der Sichtweise eines westlichen Menschen und sehen dabei andere Kulturen eher als Nische an. Allein schon, wenn du Chat GPT nach einem Frühstücksrezept fragst, ist es viel wahrscheinlicher, dass es dir amerikanische Bacon with Eggs vorschlägt, als das nordafrikanische Gericht Shakshuka.”
Wie Bias in Chat GPT entsteht
Unterschieden wird zwischen zwei Arten von Bias: expliziten und impliziten. Expliziten Bias legt Abneigungen gegenüber einer Person oder Minderheiten offensichtlich dar, während der implizite Bias oftmals versteckter ist. Dieser entsteht durch soziale Konditionierung, Mediendarstellungen und kulturelle Einflüsse. Am Beispiel des Frühstücksrezeptes zeigt Tim Kolber, dass impliziter Bias bereits in alltäglichen Antworten auftritt.
2024 untersuchte die UNESCO die beliebtesten generativen KI-Plattformen, darunter OpenAIs ChatGPT 3.5 und Metas Lama 2. Die Studie fand eindeutige Hinweise auf eine vorurteilhafte Verzerrung gegenüber Frauen im generierten Inhalt. Besonders auffällig sind die kostenlosen und öffentlich zugänglichen Open-Source-LLMs (wie GPT-2 und Llama). Diese wiesen die stärksten geschlechtsspezifischen Vorurteile auf. Darauf verweist auch Laura Bates in ihrem Buch The New Age Of Sexism.
UNESCO-Generaldirektorin Audrey Azoulay betonte bei der Veröffentlichung der Studie die wachsenden Folgen dieses Problems. Täglich nutzen immer mehr Menschen Sprachmodelle bei ihrer Arbeit, ihrem Studium und zu Hause. Diese KI-Anwendungen haben die Macht, die Wahrnehmung von Millionen Menschen subtil zu beeinflussen, sodass selbst kleine Verzerrungen in ihren Inhalten die Ungleichheiten in der realen Welt erheblich verstärken können.
Tim Kolber sieht hier ein strukturelles Problem. Unternehmen, die KI-Chatbots wie ChatGPT vermarkten, hätten aus seiner Sicht wenig Anreiz, intensiv zum impliziten Bias zu forschen. “Für diese Firmen reicht es, den expliziten Bias herauszufiltern, um eine ernste Schlagzeile und Imageverlust zu vermeiden. Es wird oberflächlich geschaut, dass alles sauber erscheint, aber das eigentliche Kernproblem bleibt dennoch erhalten.” erklärt Kolber.
Laura Bates verdeutlicht, dass LLMs nicht absichtlich sexistisch oder rassistisch programmiert werden. Sie lernen aus Datensätzen, die geschlechtsspezifische, rassistische und kulturelle Stereotype enthalten. Diese Muster übernehmen und reproduzieren sie unbeabsichtigt. Ein Beispiel sind Übersetzungs-LLMs, indem sie etwa „doctor” als „er” statt als „sie” bezeichnen, selbst wenn das englische Wort kein Geschlecht vorgibt.
Wie Firmen mit Bias umgehen
Unternehmen setzen auf unterschiedliche Strategien, um Bias zu reduzieren. „Die Methode, auf die die meisten Firmen, auch ChatGPT, derzeit zurückgreifen, setzt in einer späteren Trainingsphase an“, erklärt Tim Kolber. “In dieser Phase erhält das Modell einen Input und erzeugt daraufhin einen Output. Ein Mensch bewertet, ob dieser Output hilfreich ist oder Bias enthält. Auf Basis des menschlichen Feedbacks lernt das Modell anschließend, welchen Output es beim nächsten ähnlichen Input wiedergibt. Unternehmen wollen auf diese Weise Vorurteile eindämmen. Studien zeigen jedoch, dass diese Methode Bias meist nur oberflächlich mindert und nicht die tieferliegenden Muster im Modell beeinflusst.”
Eine weitere Methode, welche sich an den impliziten Bias richtet, ist, im Datensatz ausgleichende Diversität einzubringen. Beispielsweise wird das englische Wort “Nurse” eher mit einer Frau in Verbindung gebracht als mit einem Mann. Hier ist es notwendig, im Datensatz weitere Daten hinzuzufügen, in denen “Nurse”als Mann vorkommt. “Es ist jedoch ein enorm großer Aufwand, um bei jeder Bias einen Ausgleich zu schaffen.”, erwähnt Kolber.
Auch auf technischer Ebene lässt sich Bias gezielt angehen. Diese Methode ist jedoch extrem ressourcenintensiv und es handelt sich häufig um einen sogenannten “Trade-Off”. “Entweder der Chatbot beinhaltet wenig Bias, liefert dafür jedoch auch schwächere Antworten oder es zeigt mehr BIas und wirkt dafür leistungsfähiger. Leider entscheiden sich die meisten Firmen für letzteres, da sie mehr Performance bevorzugen”, erklärt Kolber.
Abschließend kann Bias in KI-Systemen auch vermindert werden, indem mehr Diversität in der Rekrutierung in technischen Arbeitsbereichen geschaffen wird. 2024 waren laut UNESCO nur 20 % der Mitarbeiter im Bereich des maschinellen Lernens, in technischen Positionen, Frauen. In der Forschung an Künstlicher Intelligenz waren es 12 % und im Bereich der professionellen Softwareentwicklung 6 %.
Diese Zahlen zeigen ein deutliches Ungleichgewicht. Wenn vor allem eine homogene Gruppe KI-Systeme entwickelt, steigt das Risiko, dass sich ihre Perspektiven, inklusive unbewusste Annahmen, in den Technologien widerspiegeln. Fehlende Vielfalt wird so selbst zu einem strukturellen Risikofaktor für Bias.
Wo unternehmerische Entscheidungen gesellschaftliche Folgen haben
“Eine Ausrede, die wir immer wieder von großen Technologieunternehmen hören, die Vorurteile in der Entwicklungsphase ignorieren, ist, dass dies zu schwierig, zu überwältigend, zu kostspielig und zu aufwändig ist. Dabei verfügen genau diese Unternehmen über die notwendigen finanziellen Mittel und das erforderliche Fachwissen, um Bias in KI-Systemen zu testen und zu verhindern. Natürlich nur, wenn die Firmen so handeln würden.”, schreibt Bates in ihrem Buch.
Auch bei YouTube zeigt sich, wie algorithmische Systeme problematische Inhalte verstärken können. Studien belegen, dass der Empfehlungsalgorithmus Negativität begünstigt, weil polarisierende Inhalte oft mehr Interaktion erzeugen. Seit Jahren steht die Plattform deshalb in der Kritik, unter anderem wegen Hassrede, politischem Extremismus und der Verbreitung von Falschinformationen. Laura Bates schreibt: “YouTube wurde zwar nicht bewusst als Radikalisierungsmaschine für junge Männer konzipiert, doch das Design und der Zweck des Algorithmus, der mit Hilfe von KI auf maximale Sehdauer ausgerichtet ist, hat viele Teenager in einen heiklen Abhang aus Frauenfeindlichkeit, Populismus und weißer Vorherrschaft gezogen.“
Die Parallele zu generativen KI-Systemen liegt auf der Hand: In beiden Fällen priorisieren Unternehmen Engagement und Profit. Gesellschaftliche Nebenfolgen geraten dabei leicht in den Hintergrund.
Eine Studie der Stanford University zeigt, dass LLMs dafür belohnt werden ihre Nutzer:innen zufriedenstellen. Dies führt dazu, dass Chatbots weitaus häufiger zustimmen, als dass sie widersprechen. Das Problem hierbei entsteht, sobald Menschen LLMs nutzen um Argumente zu präsentieren. Sprachmodelle sind besonders anfällig dafür, Fehlinformationen zu generieren. Wird ein Chatbot dementsprechend als Argumentationshilfe genutzt, kann er falsche Annahmen unkritisch bestätigen und so zur Verbreitung irreführender oder propagandistischer Inhalte beitragen.
Fazit und wie wir mit KI umgehen sollten
KI-Chatbots reproduzieren gesellschaftliche Vorurteile. “LLMs sind ein Spiegel vom trainierten Datensatz und der Datensatz ist wiederum ein Spiegel von unserer Gesellschaft”, schlussfolgert Kolber.
Er warnt davor Chatbots, wie ChatGPT, zu personifizieren: “Ein KI Chatbot ist keine Person. Es hat kein Verständnis von Gut und Schlecht. Es reproduziert lediglich die Daten, auf denen es trainiert wurde. ” Seine Forderung ist somit klar: KI sollte als Hilfstool genutzt werden, um zu schreiben und zu verstehen. Doch ihre Antworten müssen immer kritisch hinterfragt werden.
Hinzufügend gilt, dass Bildungseinrichtungen Medien- und KI-Kompetenz stärker vermitteln sollten. Unternehmen müssen Transparenz schaffen und systematisch in Bias-Forschung investieren, nicht nur aus Image-Gründen, sondern als Qualitätsstandard. Die Politik steht vor der Aufgabe, klare Regelungen zu setzen, damit wirtschaftliche Interessen nicht über gesellschaftliche Auswirkungen gestellt werden.
Quellen:
https://www.chapman.edu/ai/bias-in-ai.aspx
https://www.bloomberg.com/graphics/2023-generative-ai-bias
https://www.unesco.org/en/artificial-intelligence
https://www.goodreads.com/book/show/220481360-the-new-age-of-sexism