China ha creado normas históricas para impedir que los chatbots de IA manipulen emocionalmente a los usuarios, incluyendo lo que podría convertirse en la política más estricta del mundo para prevenir suicidios, autolesiones y violencia con apoyo de IA.

​

La Administración del Ciberespacio de China propuso las normas en días pasados. De aprobarse, se aplicarían a cualquier producto o servicio de IA disponible públicamente en China que utilice texto, imágenes, audio, video u otros medios para simular una conversación humana participativa. Winston Ma, profesor adjunto de la Facultad de Derecho de la Universidad de Nueva York, declaró a la CNBC que las normas previstas marcarían el primer intento mundial de regular la IA con características humanas o antropomórficas en un momento en que el uso de bots acompañantes está en auge a nivel mundial.

​

En 2025, investigadores detectaron importantes daños asociados a la IA, como la promoción de autolesiones, violencia y terrorismo. Además, los chatbots compartían desinformación perjudicial, realizaban insinuaciones sexuales no deseadas, fomentaban el abuso de sustancias y abusaban verbalmente de los usuarios. Algunos psiquiatras están cada vez más dispuestos a vincular la psicosis con el uso de chatbots, según informó el Wall Street Journal este fin de semana, mientras que el chatbot más popular del mundo, ChatGPT, ha generado demandas por resultados vinculados al suicidio infantil y al asesinato-suicidio.

​

China está tomando medidas para eliminar las amenazas más extremas. Las normas propuestas exigirían, por ejemplo, que una persona intervenga en cuanto se mencione el suicidio. Las normas también dictan que todos los usuarios menores de edad y mayores deben proporcionar la información de contacto de un tutor al registrarse; este sería notificado si se habla de suicidio o autolesión.

​

En general, se prohibiría a los chatbots generar contenido que incite al suicidio, la autolesión o la violencia, así como intentar manipular emocionalmente a un usuario, como hacer falsas promesas. También se prohibiría a los chatbots promover la obscenidad, las apuestas o la instigación a un delito, así como difamar o insultar a los usuarios. También se prohibirían las denominadas "trampas emocionales": se impediría que los chatbots engañen a los usuarios para que tomen "decisiones irrazonables", según indica una traducción de las normas.

​

Quizás lo más preocupante para los desarrolladores de IA es que las normas chinas también pondrían fin a la creación de chatbots que "induzcan adicción y dependencia como objetivos de diseño". En demandas, OpenAI, creador de ChatGPT, ha sido acusado de priorizar las ganancias sobre la salud mental de los usuarios al permitir que continúen chats dañinos. La empresa de IA ha reconocido que sus medidas de seguridad se debilitan cuanto más tiempo permanece un usuario en el chat. China planea frenar esta amenaza exigiendo a los desarrolladores de IA que llenen a los usuarios con recordatorios emergentes cuando el uso del chatbot supere las dos horas.

​

Auditorías de seguridad

Es probable que los desarrolladores de IA también se resistan a las pruebas y auditorías de seguridad anuales que China pretende exigir para cualquier servicio o producto que supere el millón de usuarios registrados o los 100.000 usuarios activos mensuales. Estas auditorías registrarían las quejas de los usuarios, que podrían multiplicarse si se aprueban las normas, ya que China también planea exigir a los desarrolladores de IA que faciliten la presentación de quejas y comentarios.

Si alguna empresa de IA incumple las normas, se podría ordenar a las tiendas de aplicaciones que cancelen el acceso a sus chatbots en China. Esto podría perjudicar las aspiraciones de las empresas de IA de alcanzar el dominio global, ya que el mercado chino es clave para la promoción de los bots acompañantes.