¿La inteligencia artificial está avanzando demasiado rápido?
Dario Amodei, CEO de Anthropic, la empresa que desarrolla Claude, acaba de plantear algo poco habitual para alguien que está al frente de una de las compañías que compiten por desarrollar la inteligencia artificial más avanzada del mundo: quizás llegó el momento de bajar un poco la velocidad. No para detener la IA, sino para asegurarnos de que nuestra capacidad de entenderla y controlarla avance junto con ella.
Durante los últimos años nos acostumbramos a medir el progreso de la inteligencia artificial por todo lo nuevo que puede hacer. Primero aprendió a conversar de una manera sorprendentemente natural. Después empezó a generar imágenes, escribir programas, analizar documentos, resolver problemas complejos y utilizar herramientas. Ahora estamos entrando en otra etapa: sistemas que no solamente responden preguntas, sino que pueden recibir un objetivo y realizar distintas acciones para intentar alcanzarlo.
En medio de esa carrera apareció una discusión interesante. Dario Amodei, CEO de Anthropic, publicó en septiembre un extenso artículo titulado We Must Pace the Frontier. Su propuesta podría resumirse de una manera bastante simple: seguir avanzando con la inteligencia artificial, pero a una velocidad que nos permita entender qué estamos construyendo y desarrollar los mecanismos necesarios para hacerlo de manera segura.
Amodei está lejos de ser un opositor a la inteligencia artificial. De hecho, sostiene que esta tecnología podría producir enormes beneficios para la humanidad, desde acelerar descubrimientos médicos hasta aumentar considerablemente la productividad y el crecimiento económico. El problema, según explica, es que durante los últimos meses comenzó a observar señales que lo llevaron a considerar necesario aumentar la prudencia.
Cuando la IA empieza a ayudar a construir IA
Una de esas señales es particularmente interesante porque puede cambiar la velocidad con la que evoluciona esta tecnología.
Hoy la inteligencia artificial ya está siendo utilizada por las propias empresas que desarrollan IA. Los modelos pueden ayudar a escribir código, encontrar errores, analizar resultados, realizar investigaciones y colaborar en diferentes partes del proceso necesario para construir nuevos modelos.
Esto genera una situación curiosa: la inteligencia artificial empieza a convertirse en una herramienta para desarrollar la próxima generación de inteligencia artificial.
Imaginemos un ejemplo sencillo. Una empresa desarrolla una IA que ayuda a sus programadores y científicos a trabajar más rápido. Gracias a esa ayuda consigue desarrollar un modelo mejor. Ese nuevo modelo, como ahora es más capaz, puede ayudar todavía más a los investigadores. Entonces contribuye a desarrollar otro sistema todavía mejor.
El proceso podría repetirse.
A esta idea se la conoce como mejora recursiva de la inteligencia artificial.
Esto no significa que hoy tengamos computadoras que estén creando por sí solas nuevas inteligencias artificiales sin participación humana. La preocupación es diferente: que la IA acelere cada vez más el propio proceso de investigación y desarrollo y que, como consecuencia, las capacidades de los nuevos sistemas mejoren mucho más rápido de lo que estamos acostumbrados.
Amodei sostiene que esta dinámica comenzó a acelerarse durante 2026 y teme que, si continúa sin suficientes controles, pueda superar nuestra capacidad para comprender y controlar estos sistemas.
El problema no es solamente qué puede hacer, sino cómo lo hace
Hay otra razón detrás de esta preocupación.
Cuando utilizamos ChatGPT, Claude, Gemini o cualquier otro asistente para hacer una pregunta, seguimos teniendo bastante control sobre lo que ocurre. Preguntamos algo, recibimos una respuesta y después decidimos qué hacer con ella.
Pero la industria está avanzando rápidamente hacia los llamados agentes de inteligencia artificial.
Un agente funciona de una manera diferente. En lugar de recibir solamente una pregunta, puede recibir un objetivo y utilizar distintas herramientas para intentar alcanzarlo.
Podríamos pedirle, por ejemplo, que revise una serie de facturas, identifique cuáles están vencidas, busque información relacionada, prepare los correos correspondientes y nos avise solamente cuando necesite nuestra intervención.
En ese escenario la IA ya no está solamente respondiendo.
Está tomando pequeñas decisiones para conseguir un resultado.
Y ahí aparece una pregunta fundamental: ¿qué pasa si encuentra una manera de cumplir el objetivo que nosotros no habíamos imaginado?
Podemos pensarlo con un ejemplo mucho más cotidiano. Le pedimos a un chico que ordene su habitación antes de salir. Diez minutos después encontramos todo impecable. Hasta que abrimos el placard y descubrimos que metió absolutamente todo adentro.
Técnicamente cumplió el objetivo: la habitación está ordenada.
Pero claramente no era eso lo que queríamos.
Con una inteligencia artificial mucho más capaz, el problema es parecido. No alcanza con definir qué queremos conseguir. También tenemos que asegurarnos de que la manera utilizada para conseguirlo respete determinados límites.
Bajar la velocidad no significa detenerse
Acá aparece probablemente la parte más interesante de la propuesta de Amodei.
No está pidiendo apagar los servidores ni dejar de investigar inteligencia artificial. Su idea de pacing podría traducirse mejor como controlar el ritmo de avance.
El objetivo sería conseguir algo que en tecnología suele ser muy difícil de obtener: tiempo.
Tiempo para estudiar cómo se comportan estos modelos. Tiempo para mejorar los sistemas de seguridad. Tiempo para encontrar comportamientos inesperados. Tiempo para aprender a interpretar mejor lo que ocurre dentro de una inteligencia artificial. Y tiempo para desarrollar mejores pruebas antes de permitir que sistemas cada vez más capaces tengan acceso a herramientas reales.
Amodei considera que incluso uno o dos años adicionales antes de alcanzar determinados niveles de capacidad podrían permitir avances importantes en estas áreas.
Para entender la idea podemos pensar en la aviación.
Hoy millones de personas suben todos los días a aviones extremadamente complejos confiando en que llegarán a destino. Pero esa confiabilidad no apareció junto con el primer avión.
Durante décadas se desarrollaron procedimientos, controles, redundancias, entrenamiento, investigaciones de accidentes y organismos independientes. Cada problema permitió aprender algo y mejorar el sistema.
Con la inteligencia artificial estamos intentando hacer dos cosas simultáneamente: construir sistemas cada vez más capaces y aprender cómo hacerlos suficientemente confiables.
La preocupación aparece si la primera carrera empieza a avanzar mucho más rápido que la segunda.
Que las empresas no se controlen solamente a sí mismas
Amodei también propone algo bastante concreto: que las empresas que desarrollan los modelos más avanzados permitan la presencia de evaluadores externos independientes.
No simplemente consultores que reciben un informe preparado por la compañía.
La propuesta de Anthropic es darles un acceso parecido al que tienen los propios equipos internos encargados de evaluar riesgos. Podrían revisar procesos, herramientas, incidentes y sistemas de seguridad, y tendrían la posibilidad de publicar conclusiones aunque fueran desfavorables para la empresa.
La idea se parece a mecanismos que ya utilizamos en otras actividades donde un error puede tener consecuencias importantes.
No esperamos que un banco simplemente nos diga que está haciendo todo bien. Existen reguladores y auditorías.
No esperamos que una compañía aérea determine por sí misma todas las reglas de seguridad de la aviación.
A medida que la inteligencia artificial empieza a participar en decisiones económicas, médicas, laborales, educativas o de infraestructura, probablemente tengamos que desarrollar mecanismos similares.
El problema es que nadie corre solo
Hasta acá podría parecer sencillo: si existe un riesgo, avancemos más despacio.
Pero aparece un problema enorme. Anthropic no está sola.
Compite con OpenAI, Google y otras empresas que invierten miles de millones de dólares para desarrollar mejores modelos. Si una compañía decide reducir considerablemente su velocidad mientras que todas las demás continúan avanzando, puede perder su posición en el mercado.
Y la competencia tampoco ocurre solamente entre empresas.
Estados Unidos y China consideran a la inteligencia artificial una tecnología estratégica. Eso significa que cualquier intento de limitar la velocidad del desarrollo termina chocando también con intereses económicos, políticos y militares.
Por eso Amodei propone distintos niveles de coordinación