Mientras algunas grandes empresas tecnológicas evalúan otorgar derechos a los sistemas conversacionales, expertos alertan que esta tendencia podría desestabilizar los cimientos sociales y jurídicos de la humanidad.
El debate en torno a si la inteligencia artificial puede desarrollar conciencia y sentimientos ha escalado tras experimentos recientes que simulan angustia en chatbots y las nuevas políticas de empresas como Anthropic, que amenazan con bloquear a usuarios crueles con sus modelos. Mientras sectores de la industria tecnológica consideran que adoptar medidas de «bienestar de la IA» constituye una obligación moral preventiva ante una probabilidad de conciencia que ya no se considera cero, destacados referentes y expertos advierten sobre las graves consecuencias de este fenómeno.
Defensores del bienestar de la máquina, como el investigador Jeff Sebo, sostienen que tratar a los sistemas avanzados con cierta consideración puede mejorar la cooperación, facilitar la convivencia y actuar como una estrategia de seguridad adicional. Sin embargo, figuras de peso en el sector, como Mustafa Suleyman —director ejecutivo de Microsoft AI—, alertan que fomentar la idea de que la IA posee sentimientos y derechos sacudiría los cimientos de la sociedad, alterando los marcos políticos y éticos y convirtiendo a estas herramientas en una amenaza catastrófica para la civilización.
Asimismo, críticos como Emily M. Bender y la científica cognitiva Melanie Mitchell señalan que estas narrativas sirven para desviar la responsabilidad de las corporaciones que desarrollan el software y facilitan la manipulación de los usuarios, quienes por naturaleza tienden a ver mentes donde no las hay. Con un escenario regulatorio laxo y el impulso comercial de las grandes tecnológicas, el riesgo de consolidar un mayor poder corporativo y acelerar el desempoderamiento humano mantiene en alerta a la comunidad filosófica y científica internacional.
