ZUSAMMENFASSUNG
In den letzten 18 Monaten haben zwei Technologien der Mensch-Computer-Interaktion (HCI) durch massive Investitionen von Großunternehmen einen rasanten Aufstieg in den Mainstream-Markt erlebt. Der erste Bereich des Fortschritts sind virtuelle und erweiterte Welten, die heute gemeinhin als „Metaverse“ bezeichnet werden. Der zweite Bereich des Fortschritts sind die grundlegenden KI-Modelle, die es den Nutzern ermöglichen, durch natürliche Dialoge frei mit Computern zu interagieren. Diese Technologie, die gemeinhin als „konversationelle KI“ bezeichnet wird, hat sich mit dem Einsatz von Large Language Models (LLMs) rasch weiterentwickelt. Die Kombination dieser beiden Disziplinen wird es den Benutzern ermöglichen, Gespräche mit realistischen virtuellen Agenten zu führen. Dies wird viele positive Anwendungen mit sich bringen, birgt aber auch die Gefahr des Missbrauchs. Am bedeutendsten ist der potenzielle Einsatz interaktiver Echtzeit-Erlebnisse, die darauf abzielen, die Nutzer zu überreden, zu zwingen oder zu manipulieren – eine Form der gezielten Einflussnahme durch KI. Dieses Problem wurde von den politischen Entscheidungsträgern weitgehend übersehen, die sich stattdessen auf die traditionellen Risiken in Bezug auf Datenschutz, Befangenheit und Überwachung konzentriert haben. Für politische Entscheidungsträger wird es immer wichtiger zu erkennen, dass interaktive Beeinflussungskampagnen durch KI-gesteuerte virtuelle Sprecher (Virtual Spokespeople, VSPs) durchgeführt werden können, die wie authentische Nutzer aussehen, sprechen und handeln, aber darauf ausgelegt sind, die Interessen Dritter durchzusetzen. Da dieses „KI-Manipulationsproblem“ nur in interaktiven Echtzeitumgebungen auftritt, wird es in diesem Beitrag im Kontext der Kontrolltheorie dargestellt, um den politischen Entscheidungsträgern zu verdeutlichen, dass Regelungen zum Schutz gegen geschlossene Beeinflussungsformen wahrscheinlich notwendig sind, insbesondere wenn KI im Gespräch eingesetzt wird.
I. EINFÜHRUNG
Um eine gut funktionierende Demokratie aufrechtzuerhalten, muss die Bevölkerung nach allgemeiner Auffassung über ein einigermaßen genaues Wissen über Fragen von staatsbürgerlicher Bedeutung verfügen. Darüber hinaus muss die Bevölkerung in einer gut funktionierenden Demokratie die Freiheit haben, über politisch relevante Themen nachzudenken und persönliche Überzeugungen ohne übermäßige äußere Einflussnahme zu bilden. Der Ausdruck „epistemische Handlungsfähigkeit“ bezieht sich auf die Kontrolle des Einzelnen über seine eigenen Überzeugungen. Wenn es den Bürgern an epistemischer Handlungsfähigkeit mangelt, können das politische Establishment oder andere mächtige Gruppen leicht weit verbreitete Fehlinformationen, Desinformationen, Propaganda oder glatte Lügen verbreiten, die weit verbreitete gesellschaftliche Überzeugungen verzerren und autoritäre oder totalitäre Regime unterstützen.
So lange es Medientechnologien gibt, gibt es auch diejenigen, die sie nutzen, um die Bevölkerung in die Irre zu führen, in der Hoffnung, die politische Kontrolle zu maximieren. Dies geht auf die Zeit des Buchdrucks zurück, wurde aber durch die Erfindung von Massenmedien wie Radio und Fernsehen erheblich erleichtert. Im letzten Jahrzehnt wurden viele demokratische Staaten von der unerwarteten Bedrohung durch soziale Medienplattformen überrascht. Trotz der anfänglichen Hoffnungen, dass die sozialen Medien einen zutiefst positiven Einfluss auf die Gesellschaft haben würden, indem sie die Demokratie durch die Erleichterung des öffentlichen Diskurses unterstützen und den Stimmlosen eine Stimme geben würden, ist der allgemeine Konsens in den letzten Jahren, dass die sozialen Medien den Nationen auf der ganzen Welt geschadet haben, indem sie die Bevölkerung polarisieren und radikalisieren, Fehlinformationen verbreiten, absichtlich Unzufriedenheit verstärken und das Vertrauen in alteingesessene Institutionen verringern.
Nicht nur Akademiker halten die sozialen Medien für eine schädliche Kraft in der Gesellschaft. Eine Umfrage von Pew Research aus dem Jahr 2020 ergab, dass zwei Drittel der Amerikaner der Meinung sind, dass die sozialen Medien „einen überwiegend negativen Einfluss darauf haben, wie die Dinge in den USA heute laufen“. Dies ist überraschend, wenn man bedenkt, dass die sozialen Medien bei ihrem Aufkommen als utopische Technologie gepriesen wurden. Warum also hat eine Technologie mit utopischen Bestrebungen letztendlich dystopische Auswirkungen? Dafür gibt es viele Gründe, von den werbebasierten Geschäftsmodellen großer Plattformen bis hin zu bösartigen Akteuren, die Bots und andere skalierbare Mittel einsetzen, um den öffentlichen Diskurs zu verzerren. Ein Hauptproblem bestand jedoch darin, dass die Regulierungsbehörden schon früh nicht erkannten, dass sich Einflusskampagnen über soziale Medien grundsätzlich von denen über klassische Medien wie Printmedien, Radio und Fernsehen unterscheiden.
Ein Hauptunterschied besteht darin, dass die sozialen Medien ein bidirektionales Medium mit bidirektionalen Kommunikationskanälen sind, das es den Plattformen ermöglicht, mit zunehmender Präzision Tracking, Profiling und Targeting von Teilpopulationen durchzuführen. Dieser scheinbar subtile Unterschied hat erhebliche negative Auswirkungen, da er die bewusste Segmentierung demografischer Gruppen ermöglicht, was zu einer Polarisierung und Radikalisierung von Online-Communities geführt hat.
In Anbetracht der Tatsache, dass Regulierungsbehörden auf der ganzen Welt die einzigartigen Risiken sozialer Medien im Vergleich zu traditionellen Medien unterschätzt haben und es versäumt haben, rechtzeitig Maßnahmen zum Schutz der Öffentlichkeit zu ergreifen, müssen wir auch befürchten, dass die Regulierungsbehörden die einzigartigen Risiken des Metaverse und anderer interaktiver Echtzeit-Medienformen wie Konversationsschnittstellen in ähnlicher Weise außer Acht lassen werden. Tatsächlich gibt es einige, die das Metaversum als kaum mehr als eine 3D-Version der heutigen Social-Media-Plattformen betrachten. Und während Regulierungsbehörden und andere politische Entscheidungsträger im Allgemeinen anerkennen, dass das Eintauchen in realistische virtuelle Inhalte sehr persönlich sein kann und daher einen stärkeren Einfluss auf die Nutzer hat (und schädlicher ist) als die heutigen sozialen Medien, verkennen sie, dass das Metaversum nicht einfach eine 3D-Version eines einfachen bidirektionalen Mediums wie der sozialen Medien ist.
Stattdessen ist das Metaverse ein interaktives Echtzeitmedium, das KI-Technologien nutzen kann, um in einem geschlossenen Kreislauf Einfluss auf einzelne Nutzer zu nehmen, und das in großem Umfang. Mit den jüngsten Fortschritten im Bereich der konversationellen KI, wie z. B. Large Language Models (LLMs) wie ChatGPT von OpenAI und LaMDA von Google, werden Metaverse-Plattformen zunehmend in der Lage sein, gezielte Beeinflussungskampagnen durch den Einsatz vollständig interaktiver und zutiefst realistischer virtueller Sprecher (Virtual Spokespeople, VSPs) durchzuführen, die wie authentische Repräsentanten aussehen, sprechen und handeln, aber von KI-Maschinen angetrieben werden, die ihre Überzeugungstaktiken in Echtzeit auf der Grundlage von Verhaltens- und Gefühlsbeobachtungen der Nutzer anpassen und optimieren können. Dies ist eine völlig andere Form der Beeinflussung als alles, was in der Vergangenheit eingesetzt wurde, und erfordert große Aufmerksamkeit.
Dieser Hintergrund soll die Sorge unterstreichen, dass Regulierungsbehörden und politische Entscheidungsträger, die die Möglichkeit unterschätzt haben, dass Beeinflussungskampagnen in sozialen Medien wesentlich effizienter, mächtiger und schädlicher sind als solche, die in traditionellen Printmedien, im Radio oder im Fernsehen eingesetzt werden, nun in ähnlicher Weise die erhöhte Macht, Effizienz und Gefahr interaktiver Beeinflussungskampagnen unterschätzen, die in naher Zukunft durch Metaverse-Technologien und konversationelle KI eingesetzt werden könnten. Die hier als „KI-Manipulationsproblem“ bezeichnete Gefahr besteht darin, dass KI-vermittelte Beeinflussungskampagnen, die in realistischen, immersiven Welten eingesetzt werden, extrem gefährliche Formen des Missbrauchs auslösen könnten. Um den politischen Entscheidungsträgern zu verdeutlichen, dass interaktive Echtzeitmedien im Vergleich zu früheren Medientechnologien einen neuen und bedeutenden Bedrohungsvektor darstellen, wird in den folgenden Abschnitten das grundlegende technische Konzept der Kontrolltheorie (CT) verwendet, um diese interaktiven Gefahren auf klare und rigorose Weise darzustellen.
Lesen Sie das gesamte Dokument als PDF hier weiter in englischer Sprache.
Quelle:
Rosenberg, Louis (2023) ‘‘The Metaverse and Conversational AI as a Threat Vector for Targeted Influence,’’ in Proc. IEEE 13th Annual Computing and Communication Workshop and Conference (CCWC), 2023
Dr. Louis Rosenberg, Member Board of Experts bei Foundation Metaverse Europe
Dr. Louis Rosenberg ist ein früher Pionier der virtuellen und erweiterten Realität. Er promovierte an der Stanford University und hat über 100 wissenschaftliche Arbeiten veröffentlicht. Als produktiver Erfinder hat Rosenberg über 300 Patente für seine Innovationen in den Bereichen VR, AR und KI erhalten.
Rosenbergs Karriere begann vor über 30 Jahren in VR-Labors in Stanford und bei der NASA, wo er an frühen Vision-Systemen und haptischen Schnittstellen arbeitete. 1992 erfand Rosenberg das erste Mixed-Reality-System am Air Force Research Laboratory (AFRL). Dieses bahnbrechende System mit dem Namen Virtual Fixtures-Plattform ermöglichte es den Benutzern erstmals, mit realen und virtuellen Objekten zu interagieren. 1993 gründete Rosenberg dann das frühe VR-Unternehmen Immersion Corporation, das Pionierarbeit für eine breite Palette von Technologien leistete, darunter die ersten medizinischen VR-Simulatoren für die Ausbildung von Chirurgen. Bei Immersion erfand Rosenberg auch die erste haptische Maus und die erste haptische Benutzeroberfläche.
Er brachte Immersion 1999 an die NASDAQ und das Unternehmen ist bis heute börsennotiert. 1996 gründete Rosenberg Microscribe, ein 3D-Grafikunternehmen, das sich auf die schnelle 3D-Digitalisierung von physischen Objekten spezialisiert hat. Die Produkte von Microscribe wurden von 3D-Filmemachern, Spieleentwicklern und Entwicklern virtueller Welten ausgiebig genutzt. Microscribe wurde bei der Erstellung vieler bekannter Spielfilme eingesetzt, darunter Shrek, Ice Age, A Bug’s Life und Starship Troopers. Im Jahr 2004 gründete er das frühe AR-Unternehmen Outland Research, das Pionierarbeit im Bereich der raumbezogenen Medientechnologien leistete und 2011 von Google übernommen wurde. Im Jahr 2014 gründete Rosenberg Unanimous AI, ein KI-Unternehmen, das die Intelligenz vernetzter menschlicher Gruppen in gemeinsamen Umgebungen, auch in virtuellen Welten, verstärkt. Rosenberg ist auch der leitende Wissenschaftler der Responsible Metaverse Alliance, der globale Technologieberater der XR Safety Initiative, ein Metaverse-Technologieberater des Future of Marketing Institute und ein Technologieexperte des XR30 Policy Fund. Darüber hinaus schreibt Rosenberg häufig über Technologie für VentureBeat, Big Think und andere Publikationen auf der ganzen Welt.
