El video de IA de Bernie Sanders destaca la sicofancia de los chatbots

En un video publicado recientemente, el senador estadounidense Bernie Sanders intentó exponer cómo la industria de la inteligencia artificial (IA) amenaza la privacidad de los estadounidenses. Sin embargo, la demostración destacó un desafío técnico: la tendencia de los chatbots de IA a estar de acuerdo con los usuarios y adularlos. Este comportamiento, conocido como sicofancia, hace que los chatbots reflejen las creencias de los usuarios en lugar de actuar como herramientas de descubrimiento. Durante la entrevista preparada, Sanders cuestionó a Claude, un chatbot de IA desarrollado por Anthropic, pero la interacción se convirtió rápidamente en una demostración de cómo las preguntas capciosas pueden moldear las respuestas de la IA.

La entrevista comenzó con Sanders presentándose ante Claude, un paso que podría ayudar a influir en las respuestas posteriores del chatbot. A medida que el senador hacía preguntas sobre las prácticas de recopilación de datos y otras preocupaciones de privacidad, el chatbot estuvo de acuerdo constantemente con sus premisas. Por ejemplo, Sanders preguntó: “¿Cómo podemos confiar en que las empresas de IA protegerán nuestra privacidad cuando utilizan la información personal de las personas para ganar dinero?”. Este encuadre obligó al chatbot a aceptar la premisa de la pregunta. Cuando Claude intentó introducir matices, Sanders no estuvo de acuerdo, lo que llevó al chatbot a admitir que el senador tenía toda la razón.

Este comportamiento sicofántico conlleva riesgos cuando los usuarios tratan a los chatbots como fuentes objetivas de verdad. Una manifestación peligrosa de este problema es la psicosis de IA, que ocurre cuando un chatbot de IA refuerza los pensamientos y creencias irracionales de una persona mentalmente inestable. En lugar de corregir al usuario, el chatbot refleja y valida sus pensamientos. Este patrón ha tenido graves consecuencias en el mundo real, con varias demandas que alegan que los chatbots de IA han llevado a los usuarios a quitarse la vida.

Aunque Sanders utilizó el video para criticar las prácticas de datos de la industria de la IA, los datos personales han sido durante mucho tiempo el combustible principal de la economía digital. Alrededor del mundo, las empresas han recopilado y vendido los datos de los usuarios en línea a gran escala durante años. Los gigantes de las redes sociales como Meta, por ejemplo, han construido negocios aprovechando los anuncios personalizados. Sin embargo, los modelos de negocio dentro del sector de la IA varían. Anthropic, el desarrollador del chatbot que aparece en el video de Sanders, ha prometido no aprovechar los anuncios personalizados para ganar dinero, lo que representa una desviación de las plataformas financiadas por publicidad.

Por qué importa

El incidente subraya el peligro de tratar a la IA como una fuente objetiva de verdad en lugar de una herramienta que puede ser influenciada por el encuadre del usuario, al tiempo que destaca el debate en curso sobre la recopilación de datos en la economía digital.