Les chatbots IA ont fait l’objet d’un examen minutieux en raison des risques pour la santé mentale liés au fait que les utilisateurs développent des relations avec la technologie ou les utilisent à des fins thérapeutiques ou de soutien lors de crises aiguës de santé mentale. Alors que les entreprises répondent aux critiques des utilisateurs et des consultants, l’une des nouvelles dirigeantes d’OpenAI affirme que cette query est au premier plan de son travail.
En mai dernier, Fidji Simo, un ancien de Meta, a été embauché en tant que PDG des functions d’OpenAI. Chargée de gérer tout ce qui ne relève pas du champ de recherche et de l’infrastructure informatique du PDG Sam Altman pour les modèles d’IA de l’entreprise, elle a détaillé le contraste frappant entre le travail dans l’entreprise technologique dirigée par Mark Zuckerberg et celui d’Altman dans une interview filaire publiée lundi.
“Je dirais que ce que je ne pense pas que nous ayons bien fait chez Meta, c’est d’anticiper les risques que nos produits créeraient dans la société”, a déclaré Simo à Wired. “Chez OpenAI, ces risques sont bien réels.”
Meta n’a pas répondu immédiatement à la demande de commentaire de Fortune.
Simo a travaillé pendant une décennie chez Meta, alors que l’entreprise était encore connue sous le nom de Fb, de 2011 à juillet 2021. Au cours de ses deux dernières années et demie, elle a dirigé l’software Fb.
En août 2021, Simo est devenu PDG du service de livraison d’épicerie Instacart. Elle a dirigé l’entreprise pendant quatre ans avant de rejoindre l’une des startups les plus valorisées au monde en tant que PDG secondaire en août.
L’une des premières initiatives de Simo chez OpenAI était la santé mentale, a déclaré l’homme de 40 ans à Wired. L’autre initiative dont elle était chargée consistait à lancer le programme de certification en IA de l’entreprise pour aider à renforcer les compétences des travailleurs en IA dans un marché du travail compétitif et à tenter d’atténuer les perturbations de l’IA au sein de l’entreprise.
“C’est donc une très grande responsabilité, mais j’ai l’impression que nous avons à la fois la tradition et les priorités pour vraiment l’aborder dès le départ”, a déclaré Simo.
En rejoignant le géant de la technologie, Simo a déclaré qu’en regardant simplement le paysage, elle avait immédiatement réalisé que la santé mentale devait être abordée.
Un nombre croissant de personnes ont été victimes de ce que l’on appelle parfois la psychose de l’IA. Les consultants craignent que les chatbots comme ChatGPT n’alimentent potentiellement les délires et la paranoïa des utilisateurs, ce qui les a conduits à être hospitalisés, à divorcer ou à mourir.
Un audit de la société OpenAI par la revue médicale à comité de lecture BMJ publié en octobre a révélé que des centaines de milliers d’utilisateurs de ChatGPT présentent chaque semaine des signes de psychose, de manie ou d’intention suicidaire.
Une étude récente de l’Université Brown a également révélé que, à mesure que de plus en plus de personnes se tournent vers ChatGPT et d’autres grands modèles linguistiques pour obtenir des conseils en matière de santé mentale, ils violent systématiquement les normes d’éthique en matière de santé mentale établies par des organisations comme l’American Psychological Affiliation.
Simo a déclaré qu’elle devait emprunter une voie « inexplorée » pour répondre à ces problèmes de santé mentale, ajoutant qu’il existe un risque inhérent au déploiement fixed d’OpenAI de différentes fonctionnalités.
“Chaque semaine, de nouveaux comportements émergent avec des fonctionnalités que nous lançons et où nous nous disons : ‘Oh, c’est un autre défi de sécurité à relever'”, a déclaré Simo à Wired.
Néanmoins, Simo a supervisé l’introduction récente par l’entreprise du contrôle parental pour les comptes adolescents ChatGPT et a ajouté qu’OpenAI travaille sur la « prédiction de l’âge pour protéger les adolescents ». Meta a également décidé d’instaurer un contrôle parental d’ici le début de l’année prochaine.
Pourtant, faire la bonne selected à chaque fois est exceptionnellement difficile”, a déclaré Simo, en raison du grand nombre d’utilisateurs (800 hundreds of thousands par semaine). “Ce que nous essayons de faire, c’est de détecter autant que potential les comportements qui ne sont pas idéaux, puis d’affiner constamment nos modèles.”
