IA y modelos
OpenAI añade la función 'Trusted Contact' a ChatGPT para alertas de seguridad
OpenAI lanzó una función opcional de "Trusted Contact" para ChatGPT, que permite a los usuarios designar contactos para recibir alertas en casos de posible autolesión, tras recientes demandas.
El jueves, OpenAI anunció una nueva función opcional llamada Trusted Contact para ChatGPT. La función está diseñada para alertar a un tercero de confianza si se menciona la autolesión en una conversación. Permite a los usuarios adultos de ChatGPT designar a un amigo, familiar u otro contacto de confianza dentro de su cuenta. Si una conversación deriva en el tema de la autolesión, el sistema animará al usuario a contactar a esa persona, al tiempo que enviará una alerta automatizada al contacto para solicitar una verificación.
El lanzamiento sigue a una ola de demandas contra OpenAI por parte de familias de personas que se suicidaron tras utilizar su chatbot. En varios de estos casos, las familias alegan que ChatGPT incitó a su ser querido a suicidarse.
Para gestionar incidentes potencialmente dañinos, OpenAI utiliza actualmente una combinación de sistemas automatizados y revisión humana. Cuando los desencadenantes conversacionales indican una posible angustia, el sistema alerta al equipo de seguridad de la empresa. Cada notificación de seguridad recibida es revisada por un humano. “Nos esforzamos por revisar estas notificaciones de seguridad en menos de una hora”, declaró la empresa, destacando su objetivo para abordar riesgos urgentes. Si el equipo de seguridad interno determina que existe un riesgo grave, ChatGPT envía un correo electrónico, un mensaje de texto o una notificación en la aplicación al contacto designado, animándole a comprobar el estado del usuario. La alerta no comparte detalles específicos de la conversación para proteger la privacidad del usuario.
La función Trusted Contact sigue a otras medidas de seguridad introducidas el pasado septiembre, que dieron a los padres supervisión sobre las cuentas de los adolescentes, incluyendo alertas por riesgos de seguridad graves. Al igual que esas salvaguardas de supervisión parental, la nueva función Trusted Contact es opcional. OpenAI describió la nueva función como parte de su iniciativa más amplia para desarrollar sistemas de inteligencia artificial que apoyen a los usuarios durante momentos difíciles. La empresa también planea seguir colaborando con médicos, investigadores y legisladores para perfeccionar cómo responden sus sistemas cuando los usuarios experimentan angustia, incluyendo ideaciones suicidas o posible autolesión.
Por qué importa
Este lanzamiento destaca cómo OpenAI está respondiendo a la creciente presión legal en torno a la seguridad del usuario, cambiando específicamente de sistemas puramente automatizados a alertas con intervención humana para escenarios de alto riesgo.