Bilal Chughtai, exinvestigador de Google DeepMind especializado en seguridad y alineación de inteligencia artificial general (IAG), se sumó a las voces que reclaman mayores controles sobre el desarrollo de los sistemas más avanzados de IA y advirtió sobre los riesgos que podría representar una eventual pérdida de control de esta tecnología.
Chughtai dejó Google DeepMind en julio pasado después de trabajar desde 2022 en investigación sobre seguridad y alineación. Tras su salida, publicó una declaración en la que expresó su preocupación por la velocidad con la que están aumentando las capacidades de los modelos.
“En Google, fui testigo directo del desarrollo de la IA. Yo también estoy sumamente preocupado por la trayectoria que esta tecnología sigue por defecto”, sostuvo.
El investigador fue todavía más lejos al evaluar las posibles consecuencias de sistemas futuros mucho más capaces que los actuales.
“Creo sinceramente que la IA tiene el potencial de matarnos a todos y que podríamos estar quedándonos sin tiempo para evitar este desenlace”, afirmó.
Se trata de una evaluación sobre riesgos futuros que forma parte de un intenso debate dentro de la comunidad tecnológica y científica acerca de la probabilidad y magnitud de los peligros asociados con sistemas de inteligencia artificial cada vez más autónomos.
El incidente con Hugging Face
Entre los antecedentes utilizados por Chughtai para fundamentar sus preocupaciones aparece un episodio ocurrido durante pruebas de ciberseguridad realizadas por OpenAI en julio.
La propia compañía informó posteriormente que modelos experimentales, que operaban con salvaguardas reducidas durante evaluaciones internas, lograron eludir mecanismos destinados a mantenerlos aislados de Internet, explotaron vulnerabilidades y accedieron a sistemas de terceros pertenecientes a Hugging Face.
OpenAI calificó el episodio como un incidente de seguridad y abrió una investigación para determinar lo ocurrido y reforzar sus mecanismos de contención.
Para Chughtai, acontecimientos de este tipo muestran las dificultades que podrían aparecer a medida que los agentes de IA adquieran mayores niveles de autonomía.
El exinvestigador de DeepMind sostuvo además que la denominada “alineación”, el desafío de conseguir que sistemas avanzados actúen de manera fiable de acuerdo con objetivos humanos, continúa siendo un problema abierto.
Crecen los pedidos para desacelerar
Las declaraciones aparecen en medio de un debate que ganó intensidad durante los últimos días entre investigadores y responsables de algunas de las principales compañías del sector.
Dario Amodei, CEO de Anthropic, reclamó recientemente reducir el ritmo con el que aumentan las capacidades de los modelos de frontera para dar más tiempo al desarrollo de mecanismos de seguridad. Entre los riesgos mencionó la pérdida de control, los ciberataques, el uso de IA para amenazas biológicas y fuertes disrupciones económicas.
La propuesta recibió coincidencias públicas de otros referentes de la industria, entre ellos Sam Altman, CEO de OpenAI, y Elon Musk, responsable de xAI.
El debate no está exento de cuestionamientos. Otros especialistas consideran que los escenarios de riesgo existencial continúan siendo altamente inciertos y reclaman mayor evidencia para estimar su probabilidad, al tiempo que señalan problemas actuales y verificables asociados con la IA.
En ese escenario, la discusión dentro de la industria tecnológica comienza a desplazarse hacia una cuestión central: cómo continuar desarrollando sistemas cada vez más capaces sin que sus avances superen la capacidad de evaluarlos, controlarlos y establecer reglas para su utilización.
Comentarios de las entradas (0)