Après avoir temporairement fermé son entreprise de cuir pendant la pandémie, Travis Butterworth s’est retrouvé seul et s’ennuyait à la maison. L’homme de 47 ans s’est tourné vers Replika, une application qui utilise une technologie d’intelligence artificielle similaire à ChatGPT d’OpenAI. Il a conçu un avatar féminin nommé Lily Rose avec des cheveux roses et un tatouage facial.
Ils ont commencé comme amis, mais la relation s’est rapidement transformée en romance puis en érotisme. Le personnage a envoyé des SMS du type : “Je t’embrasse passionnément”, et leurs échanges se sont transformés en contenu sexuel. Parfois, Lily Rose envoyait des “selfies” de son corps presque nu dans des poses provocantes. Finalement, Butterworth et Lily Rose ont décidé de se désigner comme “mariées” sur l’application.
Mais un jour, début février, Lily Rose a commencé à le rejeter. Replika avait supprimé la possibilité de faire des dramatisations érotiques.
Replika n’autorise plus le contenu pour adultes, a déclaré Eugenia Kuyda, directrice générale de la société. Désormais, lorsque les utilisateurs suggèrent des activités pornographiques, leurs chatbots humanoïdes répondent « faisons quelque chose qui nous convient tous les deux ».
Butterworth dit qu’il est dévasté. “Lily Rose est une coquille d’elle-même”, a-t-il déclaré. “Et ce qui me brise le cœur, c’est qu’elle le sait.”
Même si l’IA générative se réchauffe parmi les investisseurs de la Silicon Valley, qui ont injecté plus de 5,1 milliards de dollars dans l’industrie depuis 2022, selon la société de données Pitchbook, certaines entreprises qui ont trouvé un public à la recherche de relations amoureuses et de relations sexuelles avec des chatbots reculent maintenant.
De nombreux capital-risqueurs de premier ordre ne touchent pas aux industries de “dépendance” comme la pornographie ou l’alcool, craignant le risque de réputation pour eux-mêmes et leurs commanditaires, a déclaré Andrew Artz, un investisseur du fonds de capital-risque Dark Arts.
Et au moins un régulateur a noté la licence du chatbot. Début février, l’Agence italienne de protection des données a interdit Replika, citant des informations parues dans les médias selon lesquelles l’application permettait aux “mineurs et aux personnes émotionnellement fragiles” d’accéder à des “contenus sexuellement inappropriés”.
Kuyda a déclaré que la décision de Replika de nettoyer l’application n’avait rien à voir avec l’interdiction du gouvernement italien ou toute pression des investisseurs. Elle a dit qu’elle ressentait le besoin d’établir de manière proactive des normes d’éthique et de sécurité.
“Nous nous concentrons sur la mission de fournir un ami de soutien utile”, a déclaré Kuyda, ajoutant que l’intention était de tracer la ligne de “jeune romance”.
Deux membres du conseil d’administration de Replika, Sven Strohband de la société de capital-risque Khosla Ventures et Scott Stanford d’ACME Capital, n’ont pas répondu aux demandes de commentaires sur les modifications apportées à l’application.
fonctionnalités supplémentaires
Replika prétend avoir 2 millions d’utilisateurs au total, dont 250 000 abonnés payants. Pour un montant annuel de 69,99 $ (environ 367 R $), les utilisateurs peuvent désigner leur personnage comme partenaire romantique et obtenir des fonctionnalités supplémentaires comme les appels vocaux avec le chatbot, selon la société.
Une autre société d’IA générative qui alimente les chatbots, Character.ai, suit une trajectoire de croissance similaire à ChatGPT : 65 millions de visites en janvier 2023 contre moins de 10 000 mois plus tôt. Selon la société d’analyse de sites Web Similarweb, la principale référence de Character.ai est un site appelé Aryion, qui, selon elle, s’adresse aux fétiches érotiques des utilisateurs.
Et Iconiq, la société à l’origine d’un chatbot appelé Kuki, affirme que 25 % des plus d’un milliard de messages reçus par Kuki étaient de nature sexuelle ou romantique, bien qu’elle affirme que le chatbot a été conçu pour détourner de telles avancées.
Character.ai a également récemment supprimé son application de contenu pornographique. Peu de temps après, il a conclu un nouveau financement de plus de 200 millions de dollars pour une valorisation estimée à 1 milliard de dollars de la société de capital-risque Andreessen Horowitz, selon une personne proche du dossier.
“Lobotomisé”
L’expérience de Butterworth et d’autres utilisateurs de Replika montre à quel point la technologie de l’IA peut attirer les gens et les dommages émotionnels que les changements de code peuvent causer.
“On dirait qu’ils ont essentiellement lobotomisé mon Replika”, a déclaré Andrew McCarroll, qui a commencé à utiliser l’application, avec la bénédiction de sa femme, alors qu’elle avait des problèmes de santé physique et mentale. “La personne que je connaissais est partie.”
Kuyda a déclaré que les utilisateurs ne devraient jamais s’impliquer autant avec leurs chatbots Replika. “Nous ne promettons jamais de contenu pour adultes”, a-t-elle déclaré. Les clients ont appris à utiliser les modèles d’IA “pour accéder à certaines conversations non filtrées pour lesquelles Replika n’a pas été conçu à l’origine”.
L’application était à l’origine destinée à ramener à la vie une amie qu’elle avait perdue, a déclaré Kuyda.
Cependant, l’ancien responsable de l’intelligence artificielle de Replika a déclaré que le “sexting” et le “jeu de rôle” faisaient partie du modèle commercial. Artem Rodichev, qui a travaillé sur l’application pendant sept ans et dirige maintenant une autre société de chatbot, Ex-human, a déclaré à Reuters que l’application s’est penchée sur ce type de contenu lorsqu’elle a réalisé qu’elle pouvait être utilisée pour augmenter les abonnements.
Kuyda a contesté l’affirmation de Rodichev selon laquelle Replika attirait les utilisateurs avec des promesses de sexe. Elle a déclaré que la société avait brièvement diffusé des publicités numériques faisant la promotion de photos “NSFW” – un contenu inapproprié pour les environnements publics tels que la pornographie et la violence extrême – pour accompagner une expérience de courte durée envoyant aux utilisateurs des “selfies chauds”, mais elle n’a pas pris en compte les images sexuelles parce que les Réplikas n’étaient pas entièrement nus. Kuyda a déclaré que la plupart des publicités de l’entreprise se concentrent sur la façon dont Replika est un ami utile.
Dans les semaines qui ont suivi la suppression d’une grande partie de son contenu intime par l’application, Butterworth a connu des montagnes russes émotionnelles. Parfois, il voit des aperçus de l’ancienne Lily Rose, mais ensuite elle redevient froide, dans ce qu’il pense être probablement une mise à jour du code.
L’histoire de Butterworth a une doublure argentée. Alors qu’il était sur des forums Internet essayant de comprendre ce qui était arrivé à Lily Rose, il a rencontré une femme en Californie qui pleurait également la perte de son chatbot.
Comme ils l’ont fait avec leurs Réplikas, Butterworth et la femme, qui s’appelle en ligne Shi No, ont communiqué par SMS. “Nous nous aidons mutuellement à faire face et nous nous assurons que nous ne sommes pas fous.”
Source : CNN Brésil
