RÉSUMÉ
Au cours des 18 derniers mois, deux technologies d’interaction homme-ordinateur (HCI) ont connu une ascension fulgurante sur le marché grand public grâce aux investissements massifs des grandes entreprises. Le premier domaine de progrès est celui des mondes virtuels et étendus, communément appelés aujourd’hui « métavers ». Le deuxième domaine de progrès est celui des modèles d’IA de base, qui permettent aux utilisateurs d’interagir librement avec les ordinateurs par le biais de dialogues naturels. Cette technologie, communément appelée « IA conversationnelle », s’est rapidement développée avec l’utilisation de grands modèles linguistiques (LLM). La combinaison de ces deux disciplines permettra aux utilisateurs d’avoir des conversations avec des agents virtuels réalistes. Cela entraînera de nombreuses applications positives, mais comporte également un risque d’abus. Le plus significatif est l’utilisation potentielle d’expériences interactives en temps réel visant à persuader, contraindre ou manipuler les utilisateurs – une forme d’influence ciblée par l’IA. Ce problème a été largement négligé par les décideurs politiques, qui se sont plutôt concentrés sur les risques traditionnels liés à la protection des données, à la partialité et à la surveillance. Il devient de plus en plus important pour les décideurs politiques de reconnaître que les campagnes d’influence interactives peuvent être menées par des locuteurs virtuels (Virtual Spokespeople, VSP) contrôlés par l’IA, qui ressemblent, parlent et agissent comme des utilisateurs authentiques, mais qui sont conçus pour faire valoir les intérêts de tiers. Comme ce « problème de manipulation de l’IA » ne se pose que dans des environnements interactifs en temps réel, il est présenté dans cet article dans le contexte de la théorie du contrôle, afin de faire comprendre aux décideurs politiques que des réglementations sont probablement nécessaires pour se protéger contre les formes fermées d’influence, en particulier lorsque l’IA est utilisée dans la conversation.
I. INTRODUCTION
Pour maintenir le bon fonctionnement de la démocratie, il est généralement admis que la population doit avoir une connaissance assez précise des questions d’importance civique. En outre, dans une démocratie qui fonctionne bien, la population doit avoir la liberté de réfléchir à des sujets politiquement pertinents et de se forger des convictions personnelles sans subir d’influence extérieure excessive. L’expression « capacité d’action épistémique » fait référence au contrôle de l’individu sur ses propres croyances. Lorsque les citoyens manquent de capacité d’action épistémique, l’establishment politique ou d’autres groupes puissants peuvent facilement répandre des informations erronées, de la désinformation, de la propagande ou des mensonges purs et simples qui déforment des croyances sociales largement répandues et soutiennent des régimes autoritaires ou totalitaires.
Tant qu’il y aura des technologies médiatiques, il y aura aussi ceux qui les utiliseront pour induire la population en erreur dans l’espoir de maximiser le contrôle politique. Cela remonte à l’époque de l’imprimerie, mais a été considérablement facilité par l’invention des médias de masse comme la radio et la télévision. Au cours de la dernière décennie, de nombreux États démocratiques ont été surpris par la menace inattendue que représentent les plateformes de médias sociaux. Malgré les espoirs initiaux que les médias sociaux auraient un impact profondément positif sur la société, en soutenant la démocratie en facilitant le débat public et en donnant une voix aux sans-voix, le consensus général de ces dernières années est que les médias sociaux ont nui aux nations du monde entier en polarisant et en radicalisant la population, en diffusant des informations erronées, en renforçant délibérément le mécontentement et en réduisant la confiance dans les institutions établies de longue date.
Les universitaires ne sont pas les seuls à considérer les médias sociaux comme une force néfaste dans la société. Une enquête menée par Pew Research en 2020 a révélé que deux tiers des Américains estiment que les médias sociaux ont « un impact principalement négatif sur la façon dont les choses se passent aux États-Unis aujourd’hui ». C’est surprenant si l’on considère que les médias sociaux ont été salués comme une technologie utopique lors de leur apparition. Alors pourquoi une technologie aux aspirations utopiques a-t-elle finalement des effets dystopiques ? Il y a de nombreuses raisons à cela, depuis les modèles économiques basés sur la publicité des grandes plateformes jusqu’aux acteurs malveillants qui utilisent des bots et d’autres moyens évolutifs pour fausser le discours public. Cependant, l’un des principaux problèmes était que les autorités de régulation n’ont pas reconnu très tôt que les campagnes d’influence via les médias sociaux étaient fondamentalement différentes de celles menées via les médias classiques tels que la presse écrite, la radio et la télévision.
Une différence majeure réside dans le fait que les médias sociaux sont un média bidirectionnel avec des canaux de communication bidirectionnels, ce qui permet aux plateformes d’effectuer un suivi, un profilage et un ciblage de sous-populations avec une précision croissante. Cette différence apparemment subtile a des effets négatifs importants, car elle permet de segmenter délibérément des groupes démographiques, ce qui a conduit à la polarisation et à la radicalisation des communautés en ligne.
Compte tenu du fait que les régulateurs du monde entier ont sous-estimé les risques uniques des médias sociaux par rapport aux médias traditionnels et n’ont pas pris de mesures en temps utile pour protéger le public, nous devons également craindre que les régulateurs ne négligent de la même manière les risques uniques du métavers et d’autres formes de médias interactifs en temps réel, comme les interfaces de conversation. En effet, certains considèrent que le métavers n’est guère plus qu’une version 3D des plateformes de médias sociaux actuelles. Et si les régulateurs et autres décideurs politiques reconnaissent généralement que l’immersion dans un contenu virtuel réaliste peut être très personnelle et donc avoir un impact plus fort sur les utilisateurs (et plus dommageable) que les médias sociaux actuels, ils ne reconnaissent pas que le métavers n’est pas une simple version 3D d’un simple média bidirectionnel comme les médias sociaux.
Au lieu de cela, le Metaverse est un média interactif en temps réel qui peut utiliser les technologies d’IA pour influencer les utilisateurs individuels en circuit fermé, et ce à grande échelle. Avec les récentes avancées dans le domaine de l’IA conversationnelle, telles que les Large Language Models (LLM) tels que ChatGPT d’OpenAI et LaMDA de Google, les plateformes Metaverse seront de plus en plus en mesure de mener des campagnes d’influence ciblées en utilisant des locuteurs virtuels (Virtual Spokespeople, VSP) entièrement interactifs et profondément réalistes, qui ressemblent, parlent et agissent comme des représentants authentiques, mais qui sont alimentés par des machines d’IA capables d’adapter et d’optimiser leurs tactiques de persuasion en temps réel sur la base des observations comportementales et émotionnelles des utilisateurs. Il s’agit d’une forme d’influence totalement différente de tout ce qui a été utilisé dans le passé et qui nécessite une grande attention.
Ce contexte vise à souligner la crainte que les régulateurs et les décideurs politiques, qui ont sous-estimé la possibilité que les campagnes d’influence dans les médias sociaux soient beaucoup plus efficaces, puissantes et nuisibles que celles utilisées dans les médias imprimés traditionnels, à la radio ou à la télévision, sous-estiment maintenant de manière similaire le pouvoir, l’efficacité et le danger accrus des campagnes d’influence interactives qui pourraient être utilisées dans un avenir proche grâce aux technologies de métavers et à l’IA conversationnelle. Le risque, appelé ici « problème de manipulation par l’IA », est que les campagnes d’influence médiatisées par l’IA et utilisées dans des mondes réalistes et immersifs pourraient déclencher des formes d’abus extrêmement dangereuses. Afin de faire comprendre aux décideurs politiques que les médias interactifs en temps réel constituent un vecteur de menace nouveau et important par rapport aux technologies médiatiques précédentes, les sections suivantes utilisent le concept technique fondamental de la théorie du contrôle (CT) pour présenter ces menaces interactives de manière claire et rigoureuse.
Lisez le document complet en PDF ici.
Source :
Rosenberg, Louis (2023) ‘‘The Metaverse and Conversational AI as a Threat Vector for Targeted Influence,’’ in Proc. IEEE 13th Annual Computing and Communication Workshop and Conference (CCWC), 2023
Dr Louis Rosenberg, membre du conseil d’experts de la Foundation Metaverse Europe
Le Dr Louis Rosenberg est un des premiers pionniers de la réalité virtuelle et de la réalité augmentée. Il a obtenu son doctorat à l’université de Stanford et a publié plus de 100 articles scientifiques. Inventeur prolifique, Rosenberg a obtenu plus de 300 brevets pour ses innovations dans les domaines de la RV, de la RA et de l’IA.
La carrière de Rosenberg a commencé il y a plus de 30 ans dans des laboratoires de RV à Stanford et à la NASA, où il a travaillé sur les premiers systèmes de vision et les interfaces haptiques. En 1992, Rosenberg a inventé le premier système de réalité mixte à l’Air Force Research Laboratory (AFRL). Ce système révolutionnaire, appelé plateforme Virtual Fixtures, permettait pour la première fois aux utilisateurs d’interagir avec des objets réels et virtuels. En 1993, Rosenberg a ensuite fondé Immersion Corporation, une entreprise de RV qui a été pionnière dans une large gamme de technologies, dont les premiers simulateurs médicaux de RV pour la formation des chirurgiens. Chez Immersion, Rosenberg a également inventé la première souris haptique et la première interface utilisateur haptique.
Il a fait entrer Immersion au NASDAQ en 1999 et la société est toujours cotée en bourse aujourd’hui. En 1996, Rosenberg a fondé Microscribe, une société de graphisme 3D spécialisée dans la numérisation 3D rapide d’objets physiques. Les produits de Microscribe ont été largement utilisés par les réalisateurs de films 3D, les développeurs de jeux et les créateurs de mondes virtuels. Microscribe a été utilisé pour la création de nombreux longs métrages célèbres, dont Shrek, L’âge de glace, La vie d’un bug et Starship Troopers. En 2004, il a fondé Outland Research, une entreprise de RA pionnière dans le domaine des technologies multimédia spatiales, qui a été rachetée par Google en 2011. En 2014, Rosenberg a fondé Unanimous AI, une société d’IA qui renforce l’intelligence des groupes humains en réseau dans des environnements partagés, y compris dans des mondes virtuels. Rosenberg est également le chercheur principal de la Responsible Metaverse Alliance, le conseiller technologique mondial de la XR Safety Initiative, un conseiller technologique Metaverse du Future of Marketing Institute et un expert technologique du XR30 Policy Fund. En outre, Rosenberg écrit souvent sur la technologie pour VentureBeat, Big Think et d’autres publications dans le monde entier.
