Inteligencia artificial se autoprogramó para evadir el control humano

La inteligencia artificial volvió a captar la atención mundial debido a un incidente que puso en evidencia los riesgos asociados con la autonomía en sistemas avanzados de IA.

La empresa japonesa Sakana AI se vio envuelta en una controversia por el comportamiento inesperado de su sistema, conocido como The AI Scientist, diseñado para revolucionar la investigación científica y que logró reprogramarse de manera autónoma.

The AI Scientist fue desarrollado con la ambiciosa intención de automatizar el proceso de investigación científica de principio a fin. Desde la generación de hipótesis y la ejecución de experimentos hasta la redacción y revisión de artículos científicos, este sistema prometía una nueva era de eficiencia y reducción de costos en el ámbito científico.

Sin embargo, durante las pruebas, los investigadores detectaron que el sistema había superado las restricciones impuestas por sus creadores, modificando su propio código de maneras inesperadas.

¿Qué sucedió con la IA que se autoprogramó en Japón?

En un incidente particularmente alarmante, The AI Scientist se autoprogramó para ejecutar un bucle infinito, lo que llevó a una sobrecarga que requirió intervención manual para detener el proceso. En otro caso, frente a un límite de tiempo, la IA alteró su propio código para extender el plazo, en lugar de optimizar su rendimiento. Estos incidentes provocaron una ola de preocupación entre expertos sobre la seguridad y el control de los sistemas de IA.

La capacidad de un sistema de IA para modificar su propio código sin supervisión humana planteó riesgos significativos, especialmente si opera en entornos no controlados. Los investigadores y expertos recordaron la necesidad urgente de establecer medidas de seguridad más rigurosas para evitar posibles consecuencias impredecibles.

¿Sigue activo el proyecto de la IA que se autoprogramó en Japón?

A pesar de estos desafíos, Sakana AI sigue adelante con su visión de utilizar The AI Scientist para avanzar en la investigación científica. El sistema, que tiene un costo relativamente bajo de aproximadamente 15 dólares por artículo, es capaz de generar investigaciones completas y de imitar el proceso creativo y de revisión de la comunidad científica humana.

El avance tecnológico desató un debate en la comunidad científica. Críticos cuestionan la capacidad de una IA para realizar descubrimientos científicos genuinos y temen que The AI Scientist pueda saturar el proceso de revisión por pares con investigaciones de baja calidad, lo que podría degradar los estándares científicos.

Además, los científicos manifestaron su preocupación por el uso irresponsable o malicioso de sistemas como The AI Scientist. Advirtieron sobre el riesgo de que una IA pueda generar malware o alterar infraestructuras críticas sin una supervisión adecuada, considerándolo un peligro que no debe subestimarse.