Künstliche Intelligenz unter Kontrolle

Algorithmen haben es schwer. Vor lauter Automatisierung von Prozessen und dem zunehmenden Verlassen auf künstliche Intelligenz könnte man fast vergessen, darauf zu achten, dass die Maschinen nicht unsere Vorurteile und die in unseren Gesellschaften vorherrschende Diskriminierung reproduzieren. Wenn eine rassistische Person von einer*einem rassistischen Personalvermittler*in aus einem Einstellungsverfahren ausgeschlossen wird, kann die Maschine es dann besser machen? Theoretisch ja, aber das hängt von den Parametern und Daten ab, die man ihr vorher zur Verfügung gestellt hat. Es sind gesellschaftliche Herausforderungen, die sowohl die Fachleute in diesem Bereich als auch Aktivisten, die sich für mehr Kontrolle einsetzen, beschäftigen. Oyidiya Oji ist eine von ihnen. Sie war kürzlich in Luxemburg, um einen von Lëtz Rise Up organisierten Vortrag (auf Englisch) mit dem Titel "Discrimination based on Artificial Intelligence: What should we do?" zu halten.

Oji kommt zwar nicht aus der Tech-Branche, hat sich aber schnell für das Thema interessiert: "Im Januar 2020 habe ich meinen Job gekündigt und zu diesem Zeitpunkt hörte ich einen Podcast über Technologie, in dem es darum ging, dass wir mehr farbige Menschen in der Branche brauchen. Da dachte ich mir, dass ich vielleicht etwas anderes machen sollte, weil ich eine Ausbildung im Bereich Wirtschaft habe" Daraufhin nahm sie an einem Bootcamp für Data Science (Intensivprogramm für Softwareentwicklung, Anm. d. Red.) teil, um die Grundlagen des Programmierens zu erlernen. Außerdem informierte sie sich darüber, was in der Branche vor sich ging. "Ich begann zu lesen, dass zum Beispiel in den USA fahrerlose Autos in Frauen krachen oder mit größerer Wahrscheinlichkeit krachen würden, vor allem wenn es sich um farbige Frauen oder Menschen mit irgendeiner Behinderung handelte, da das Auto dunklere Haut nicht sieht. Da die Ingenieure in diesem Fall oft Männer sind, sagen sie sich, dass es natürlich funktioniert. Aber es funktioniert für sie. Für bestimmte Menschen. Ich habe auch ein Video von einem Mann gesehen, der sich in einem Hotel befand und gerade versuchte, seine Hand unter den Seifenspender zu strecken. Das funktionierte nicht. Dann hat er ein Stück weißes Papier genommen und es hat funktioniert."

Ausgehend von dieser Annahme informierte sich die junge Frau immer mehr über dieses Phänomen. Die von den Algorithmen "vergessenen" Minderheiten. Als schwarze Frau geriet Oyidiya Oji in eine Spirale von Informationen. Die Geschichten reihten sich aneinander und ähnelten sich: "Es geht nicht nur um Rassismus. Es beginnt mit Rassismus, aber auch mit Frauen, die die Hälfte der Bevölkerung ausmachen. Wir produzieren keine Technologie, was immer ein Problem ist. Ich erinnere mich zum Beispiel daran, dass es zu Beginn der intelligenten Uhren alle möglichen Anwendungen gab, die man sich vorstellen konnte, aber es gab keine, die den Menstruationszyklus verfolgten. Niemand hatte daran gedacht."

Die junge Aktivistin beschloss daher, den Kampf auf professioneller Ebene zu führen: "Heute arbeite ich mit Menschen zusammen, denen ich damals nur auf Konferenzen zugehört habe." Seit September letzten Jahres ist sie beim Europäischen Netzwerk gegen Rassismus (European Network Against Racism - ENAR) als Policy and Advocacy Advisor for Digital Rights (Politik- und Fürspracheberaterin für digitale Rechte) tätig. Was ihr besonderes Interesse an diesem Thema weckte, war das Postulat der Industrie, die Idee zu verbreiten, dass Maschinen zwangsläufig neutral sind. "Ich habe damit angefangen, weil dieser Sektor die Idee vertritt, dass die KI neutral ist. Sie kann keine Farben sehen. Sie sieht keine Farben, aber sie kann sehen, wo die Menschen leben. Ich meine, wo Sie leben, können Sie bereits mehr oder weniger die Herkunft der Menschen, ihren sozialen Status oder ihr Durchschnittsgehalt erkennen. Es gibt viele Informationen, die letztendlich mehr als nur Farben sind. In Luxemburg kann man Ihr Geburtsland verwenden, oder das Geburtsland Ihrer Eltern, das steht in der Datenbank. Es gibt also viele solcher Systeme, die Ihre Herkunft zurückverfolgen können" Das sieht auch Maryam Khabirpour, Auditpartner bei Deloitte, so: "Wir könnten denken, dass alles, was von einem Werkzeug oder einer Maschine produziert wird, alles, was von einem Modell produziert wird, neutral ist. Aber es ist nicht neutral. Denn es wird von Menschen angetrieben, und Menschen sind absolut nicht neutral. Wir übertragen also unsere eigenen Vorurteile auf die Maschinen, was als die Erziehung angesehen werden kann, die Kindern vermittelt wird."

Sensible Informationen, bei denen die Angestellten in der Branche oft keine Probleme oder Quellen für mögliche Diskriminierungen sehen: "Natürlich sind sich die Leute, die diese Daten bilden und testen, in vielen Fällen nicht bewusst, da alle Kollegen und Personen, die mit diesem Thema arbeiten, eine sehr spezifische Ausbildung haben. Normalerweise und je nachdem, ob sie in der Technologiebranche arbeiten oder nicht, gibt es oft eine Entschädigung für Mitarbeiter, die jemanden empfehlen. Welche Art von Menschen empfehlen Sie? Menschen wie Sie", fährt Oyidiya Oji fort.

Sachdaten, die Algorithmen füttern, müssen aber in ihren Kontext gestellt werden. Das erklärt Emilia Tantar, Chief Data and Artificial Intelligence Officer bei Blackswan Luxembourg sowie Leiterin der luxemburgischen Delegation der AI standardization: "Nehmen wir zum Beispiel Ihr Risikoniveau, um einen Kredit zu erhalten, das wird normalerweise von einem Finanzinstitut subjektiv vergeben. Das ist auch ein Beispiel, das mit Luxemburg zu tun hat, denn wenn wir die Daten aus der Vergangenheit nehmen, die wir haben, dann war es, wenn ich mich recht erinnere, Frauen in den 1970er Jahren nicht erlaubt, Kredite aufzunehmen. Wenn wir also eine bestimmte Information aufnehmen, ist es weniger wahrscheinlich, dass Frauen zurückzahlen. Es handelt sich also natürlich um eine Art von Verzerrung im Finanzbereich."

Oyidiya Oji wiederum interessiert sich dafür, dass der technische Fortschritt nicht auf Kosten von Frauen und Minderheiten geht, die oft als Putzkräfte im Netz beschäftigt werden, insbesondere für die Moderation von Inhalten: "Man spricht von Innovation, aber welche Art von Innovation und für wen? Wenn es für die Leute ist, die schon immer innovativ waren, ja, natürlich. Sie kommen sehr weit, sie werden sogar zum Mond und zum Mars fliegen. Aber was ist mit den Leuten, die direkt dahinter stehen, mit sehr niedrigen Gehältern, und die versuchen, dafür zu sorgen, dass bestimmte Arten von Menschen Informationen auf eine Weise erhalten, die nicht schädlich ist? Wenn Sie also zum Beispiel in Ihrem Newsfeed in einem beliebigen sozialen Netzwerk Informationen erhalten, die nicht schädlich sind, liegt das daran, dass es jemanden gibt, der diese schädlichen Informationen konsumiert. Damit Sie sie vermeiden können. Und diese Personen sind immer im Süden angesiedelt."

Es gibt aber noch ein größeres Problem, auf das Bettina Werner, ebenfalls Auditpartnerin bei Deloitte, hinweist, nämlich die Tatsache, dass es ein ständiger Kampf ist, die KI unter Kontrolle zu halten: "Was in der Vergangenheit mit unserer KI passiert ist, ist eines der größten Risiken, dass es nicht ausreicht, ein Problem ein für alle Mal zu lösen. Im Umfeld der Wirtschaftsprüfung kann man nicht einfach eine einzige Prüfung durchführen und sagen, dass alles in Ordnung ist. Was auch immer Sie morgen tun, selbst wenn es heute gut und neutral ist, am Ende des nächsten Monats kann das System wieder verzerrt sein, und im Laufe der gesellschaftlichen Entwicklung kann es auf verschiedene Weise verzerrt sein. So haben Sie es einmal verstanden, aber beim nächsten Mal ist es vielleicht nicht mehr der Fall. Ich denke daher, dass dies eine der größten Herausforderungen ist, die sich im Zusammenhang mit KI stellen: Man muss ständig auf der Hut sein."

Bedarf an Regulierung

Aus diesem Grund ist laut Bettina Werner das Thema Governance sehr wichtig. "Es muss jemanden geben, der die Anwendung im Unternehmen betreut, jemanden, der dafür verantwortlich ist. Man kann die Anwendung nicht einfach alleine laufen lassen. Es muss jemand da sein, der eine gewisse Kontrolle über das System hat und ständig sicherstellt, dass es noch den Zielen des Unternehmens entspricht", fährt sie fort. Eine Meinung, die auch die Expertin Emilia Tantar teilt: "Ich denke, dass künstliche Intelligenz, so wie sie ist, Näherungstechniken sind, sie liefern ungefähre Lösungen, die sehr weit von der Lösung entfernt sein können, die im wirklichen Leben am besten funktionieren würde. Wir brauchen also eine Regulierung. Glücklicherweise haben wir auf europäischer Ebene die KI-Verordnung, die für 2021 vorgeschlagen wurde und 2024 in Kraft treten soll. Ich denke, dass die Diskussionen im Europäischen Parlament derzeit im Gange sind. Es handelt sich um einen Rechtsrahmen, aber wie wird er in der Praxis angewendet? Ich denke, der Endnutzer muss auch die Gewissheit haben, dass diese Systeme sicher sind und getestet wurden, wie es bei Kinderautositzen der Fall ist."

Für die beiden Prüferinnen geht eine europäische Regulierung in die richtige Richtung, insbesondere um den Unternehmen einen Rahmen zu geben. "Der EU-Rechtsakt über künstliche Intelligenz wurde vom Europäischen Parlament am 11. Mai 2023 angenommen, der endgültige Text wird voraussichtlich im Mai 2024 veröffentlicht. Sie sieht erhebliche Sanktionen für Unternehmen vor. Und ich denke, was wichtig ist, ist, dass sie nicht nur europäische Unternehmen betrifft, sondern auch Unternehmen, die KI verkaufen oder KI in der EU entwickeln möchten. Unter anderem muss deutlich werden, wo KI tatsächlich eingesetzt wird, weil man sich dessen sonst nicht einmal bewusst ist", fährt Bettina Werner fort. "Nehmen wir noch einmal das Beispiel mit dem Kredit. Es kann sein, dass ich einen Brief bekomme, in dem mir mitgeteilt wird, dass ich leider keinen Kredit bekommen kann, aber ich weiß nicht unbedingt, dass im Hintergrund nicht eine Person, sondern ein Algorithmus die Bewertung vorgenommen hat. Wir müssen also zuerst das Bewusstsein der Menschen schärfen und dann dafür sorgen, dass es genügend Kontrollen gibt, die das Ganze überwachen."

Der europäische Entwurf zur Regulierung der KI wirft nicht alle Formen der künstlichen Intelligenz in einen Topf. Einen Film oder ein Kleidungsstück vorzuschlagen wird nicht als so wichtig angesehen werden wie Lebensläufe zu scannen oder sogar Gesundheitsdiagnosen zu erstellen. Das erklärt Emilia Tantar: "Es gibt mehrere Risiken. Es gibt Risiken, die mit Vorurteilen und Ausgrenzung zu tun haben, und einige Anwendungen sind sogar verboten. Diejenigen, die gefährdete Gruppen betreffen könnten, sind verbotene Anwendungen. Es geht also um den bewussten Aufbau von Systemen, die bestimmte Kategorien aufgrund von Rasse, Hautfarbe oder anderen Kriterien ausschließen. Diese Anwendungen sind daher in Europa verboten, selbst wenn Sie die Risikoanalyse bestehen möchten."

Die Expertin zweifelt jedoch bereits an den Grenzen eines solchen Instruments: "Diese Anwendungen sind verboten, aber die unbewussten Vorurteile sind am gefährlichsten. Diejenigen, die auf dem Markt zugelassen sind, sind Anwendungen mit hohem Risiko. Man muss also testen und wir arbeiten derzeit an der technischen Spezifikation des Risikokatalogs. Dabei handelt es sich um einen Katalog, der unbewusste Vorurteile enthalten kann. Wenn wir z. B. das Beispiel der Hautfarbe wieder aufgreifen, können Sie Systeme haben, die bei Prüfungen, z. B. an Universitäten, eingesetzt wurden. Personen, die bestimmten Hautfarbkategorien angehören, werden nicht leicht erkannt und es wird davon ausgegangen, dass sie die Prüfung nicht bestanden haben oder sich aus diesem Grund nicht für die Prüfung anmelden konnten. Dies ist ein Ausschluss von einer bestimmten Einrichtung. Es geht um Bildung und solche Dinge können passieren."

Letztere bleibt jedoch zuversichtlich, dass sich der Sektor auf eine gewisse Harmonisierung der Standards einigen wird. "Was die Standards angeht, die es auf internationaler Ebene gibt, so erreicht die gesamte Branche einen Konsens über internationale Standards im Bereich der künstlichen Intelligenz. Solange es unter den Erstellern dieser Systeme einen Konsens über die Vertrauensniveaus und so weiter gibt, ist das etwas, das natürlich durch die Gesetzgebung verstärkt wird. Aber in dem Maße, wie es international akzeptiert wird, wird es zur besten Praxis."

"Nicht in der Nähe der menschlichen Intelligenz"

Und obwohl die KI in den letzten Monaten enorme Fortschritte gemacht hat und die Ergebnisse verblüffend sind, wie zum Beispiel bei ChatGPT, schränkt Emilia Tantar ein: "Wir glauben, dass die KI alles tun kann, aber sie ist nicht nahe an der menschlichen Intelligenz. Wir brauchen immer noch eine praxisbasierte Bildung, denn wenn Sie kritisches Denken aufbauen wollen, während Sie in der Bildung mit Werkzeugen navigieren, die nicht immer die grundlegende Wahrheit liefern, ist das eine Gefahr für die Gesellschaft. Wie baut man kritisches Denken auf welcher Grundlage auf?" Indem sich die KI von Daten ernährt, die sie im Netz gesammelt hat, arbeitet sie nach dem Prinzip des Vorkommens. Je häufiger eine Information gegeben wird, desto mehr wird sie von der KI aufgenommen und für ihre Zwecke verwendet. Dadurch können Recherchen, z. B. von Forschern oder Journalisten, verfälscht werden.

Für die Aktivistin Oyidiya Oji geht die Notwendigkeit einer Regulierung des Sektors in die richtige Richtung. "Aber sagen wir auch, dass die öffentlichen Institutionen nur die Nutzer sind. Vielleicht sollten wir also nicht nur die Transparenz und Erklärungsfähigkeit dieser Modelle überprüfen, wenn sie bereits eingesetzt werden, sagen wir im öffentlichen Dienst, sondern auch für den privaten Sektor. Ein rechtlicher Rahmen muss geschaffen werden, ebenso wie ein Risikomanagementsystem und ein Informationssystem. Aber ich glaube nicht, dass sie in den USA einfach nur ein bisschen das tun werden, was wir in Europa versuchen zu tun. Für sie müssen Innovation und alles andere schnell gehen" Letztere ist etwas zweifelhaft, was die Barrieren angeht, die irgendeine Form von Regulierung für die Branchenriesen darstellt: "Heute verlassen sie sich zu 100 % auf KI. Wenn man ihnen also sagt 'Hey, ihr müsst ein bisschen auf die Bremse treten und dafür sorgen, dass es allen gut geht', dann widerspricht das bereits dem Kapitalismus, der Art und Weise, wie er viele Jahre lang funktioniert hat."

Angesichts der sich ständig weiterentwickelnden Technologie müssen nicht nur die Industrie, sondern auch die Regierungen ihren Teil dazu beitragen. Für Emilia Tantar ist das Großherzogtum bereits auf den Zug aufgesprungen: "Ich denke, dass wir in Luxemburg wirklich privilegiert sind, weil wir eine Strategie haben und wir das bei der Einführung von KI im öffentlichen Dienst sehen konnten. Ich denke, dass die nationale Strategie die Initiative Digital Luxembourg unterstützt, die eine Sensibilisierung mit Kursen zu den grundlegenden Elementen der KI bietet. Sie haben also eine solide Wissensquelle, wo man hingehen kann, um ein wenig Aufklärung zu erhalten, dann haben Sie die Universität und das LIST, die zeigen, dass der Technologietransfer verantwortlich ist, also ja, es gibt viele Diskussionen."

Auch die Bürgerorganisationen passen auf. "Zusammen mit vielen anderen Organisationen in Brüssel und an anderen Orten in Europa haben wir uns einer Koalition namens Protect, not surveil (Schützen, nicht überwachen) angeschlossen. Es handelt sich um eine Koalition, die wir zunächst in Form einer gemeinsamen Erklärung gegründet haben, die von 200 Organisationen unterzeichnet wurde. Danach haben wir eine Liste mit Forderungen aufgestellt, in der wir sagten, dass es bestimmte Arten von Systemen gibt, die gegen Vertriebene eingesetzt werden. Diese Art von Technologien sollte verboten oder zumindest als hochriskant kategorisiert werden", stellt Oyidiya Oji klar.