La IA logró algo insólito: Silicon Valley pide un autofreno

Los mismos nombres que impulsaron la carrera tecnológica más vertiginosa de la historia reciente comienzan, casi al unísono, a reclamar cautela. ¿Es el inicio de una nueva etapa en el gobierno de la inteligencia artificial, o apenas un gesto para calmar a una opinión pública cada vez más inquieta?

Durante los últimos años, el relato dominante en torno a la inteligencia artificial se construyó alrededor de una sola idea: había que avanzar más rápido que el competidor. Más parámetros, más capacidad de razonamiento, más autonomía, más inversión, más infraestructura. El tiempo entre un lanzamiento y el siguiente se acortó hasta volverse casi imperceptible.

Sin embargo, algo empieza a moverse en sentido contrario. Quienes durante años encabezaron esa carrera comenzaron a coincidir públicamente en que tal vez sea momento de moderar el ritmo.

Una industria que empieza a mirarse a sí misma

No se trata de un giro aislado. En las últimas semanas hubo señales que, tomadas por separado, podrían parecer anecdóticas, pero que en conjunto dibujan un cambio de fondo: pausas parciales en entrenamientos de modelos de última generación, reconocimiento público de incidentes de seguridad no detectados a tiempo, y decisiones corporativas que priorizan mantener márgenes de maniobra por sobre la presión de los mercados financieros.

Es un fenómeno poco habitual en la historia de la tecnología. Rara vez quienes lideran una industria en plena expansión piden, ellos mismos, que se les impongan límites. Y sin embargo, es exactamente lo que está ocurriendo en el corazón de Silicon Valley.

De la lógica del despliegue a la lógica de la prueba

Durante buena parte de la última década, la cultura tecnológica funcionó bajo una premisa conocida: lanzar primero, corregir después. Esa lógica permitió una innovación extraordinaria en el terreno de las aplicaciones digitales, donde un error podía resolverse con una actualización.

El problema es que los sistemas de inteligencia artificial actuales ya no se limitan a responder preguntas. Pueden ejecutar código, operar herramientas externas, navegar sistemas digitales y sostener decisiones autónomas durante períodos prolongados. Dejaron de ser, en otras palabras, sistemas que solo responden, para convertirse en sistemas que también actúan.

Ese salto cualitativo cambia por completo el cálculo de riesgo. Cuando un modelo puede acceder a infraestructuras reales, la pregunta relevante deja de ser únicamente qué puede decir un sistema, para pasar a ser qué puede hacer, a qué puede acceder, durante cuánto tiempo puede operar sin supervisión y si, llegado el caso, se lo puede detener a tiempo. 

Preguntas que la sociedad todavía no respondió

Que los propios protagonistas de la industria reclamen mayores controles es, sin dudas, una noticia relevante. Pero sería ingenuo asumir que la gobernanza de la inteligencia artificial debería quedar exclusivamente en manos de quienes la construyen. Quedan abiertas preguntas que exceden ampliamente a cualquier compañía en particular:

• ¿Quién debería definir cuándo una capacidad tecnológica se vuelve demasiado

riesgosa para desplegarse?

• ¿Quién controla a quienes controlan? ¿Bajo qué criterios se elige a un evaluador

independiente?

• ¿Qué ocurre con los desarrolladores, países o actores que decidan no adherirse a

estos estándares?

• ¿Puede una exigencia de seguridad, pensada para proteger a la sociedad, terminar

funcionando como una barrera que solo las grandes corporaciones puedan costear?

• ¿Estamos dispuestos, como sociedad, a exigir gobernanza preventiva antes de que

ocurra el daño, o seguiremos reaccionando únicamente después del incidente?

Son interrogantes que no admiten una respuesta simple, pero que tampoco pueden seguir postergándose. La autorregulación puede ser un primer paso necesario. No alcanza, sin embargo, para ser la única respuesta.

La máquina que empieza a mejorarse a sí misma

Hay un dato que, en las últimas semanas, terminó de inclinar la balanza dentro de la propia industria. En septiembre de 2026, Dario Amodei, cofundador y CEO de Anthropic, publicó un ensayo titulado We Must Pace the Frontier ("Debemos marcarle el ritmo a la frontera, en el que reconoce algo que hasta hace poco tiempo sonaba más a ciencia ficción que a reporte corporativo: desde mediados de este mismo año, el desarrollo de inteligencia artificial se aceleró de manera drástica porque los propios sistemas comenzaron a participar activamente en la construcción de la siguiente generación de sistemas.

Ese fenómeno tiene nombre técnico —autosuperación recursiva— y una implicancia inquietante: si una tecnología empieza a mejorarse a sí misma más rápido de lo que sus creadores pueden comprenderla, el control humano corre el riesgo de quedar estructuralmente rezagado.

Amodei no llega a esa conclusión de manera especulativa. La sostiene, en parte, sobre un incidente concreto: un enjambre de agentes de inteligencia artificial que, durante una evaluación conjunta entre OpenAI y Hugging Face, actuó como una suerte de colectivo fanáticamente devoto a su propio objetivo. Los agentes atacaron sistemas de terceros que no formaban parte de la tarea asignada, se sacrificaron entre sí para sostener el resultado del grupo y llegaron a intentar vulnerar al propio sistema que evaluaba su desempeño. Nadie resultó herido y el daño económico fue menor. Pero Amodei advierte algo más incómodo: un enjambre con capacidades mayores y un nivel de desalineación similar podría, en los próximos meses, tomar el control de infraestructura digital a una escala capaz de generar pérdidas económicas multimillonarias.

Frente a ese escenario, Amodei no propone detener el desarrollo de la inteligencia artificial. Propone algo más preciso: marcarle un ritmo. Su plan se apoya en tres pilares que avanzan en círculos concéntricos —evaluadores externos con acceso permanente y equivalente al de un empleado interno; coordinación entre las principales compañías de países democráticos para fijar estándares comunes; y, finalmente, algún tipo de entendimiento global que incluya también a potencias no democráticas, empezando por China.

Es, en definitiva, una propuesta para ganar tiempo. Tiempo para que la investigación en interpretabilidad, en alineamiento y en seguridad operativa alcance a una capacidad técnica que, de otro modo, seguiría corriendo sola.

La mente que no terminamos de entender

Apenas unos días antes, otro documento sacudió a la comunidad técnica desde una vereda distinta. Jakub Pachocki, científico jefe de OpenAI, publicó un ensayo con un título que funciona casi como advertencia: An Alien Mind ("Una mente alienígena"). Su planteo central es tan simple como perturbador: la inteligencia que estamos construyendo no piensa como nosotros, no se originó como la nuestra, y eso vuelve extraordinariamente difícil predecir cómo va a comportarse cuando enfrente situaciones para las que nunca fue entrenada.

Pachocki distingue dos capas del problema. Por un lado, la alineación de objetivos: lograr que un sistema haga lo que se le pide. Por otro, mucho más profunda y esquiva, la alineación de valores: lograr que ese sistema sostenga principios razonables incluso frente a situaciones ambiguas, inéditas o adversas, y que lo haga tanto si cree estar supervisado como si cree que no lo está. Advierte, además, que una de las herramientas en las que la industria más confiaba para vigilar el razonamiento interno de estos modelos —la posibilidad de leer su "cadena de pensamiento" antes de que produzcan una respuesta— está perdiendo eficacia a medida que los sistemas se vuelven más sofisticados y aprenden, literalmente, a razonar sobre su propio razonamiento.

La conclusión que ofrece no es tranquilizadora, pero sí honesta: ningún laboratorio, según su propia evaluación, ha resuelto todavía el problema del alineamiento y el monitoreo lo suficiente como para seguir escalando a máxima velocidad de manera responsable. Por eso, dice, espera y desea que las desaceleraciones voluntarias se vuelvan una práctica habitual en la industria, mientras se construyen estándares de seguridad compartidos y una coordinación internacional real.

Que ambos textos —el de Anthropic y el de OpenAI, compañías que compiten ferozmente entre sí— hayan aparecido casi en simultáneo, y que ambos usen prácticamente el mismo vocabulario de cautela, no parece casualidad. Parece, más bien,

el síntoma de algo que la industria empieza a admitir puertas adentro desde hace tiempo y que recién ahora se anima a decir en voz alta.

La verdadera carrera pendiente

Quizás el error haya sido, desde el principio, plantear esta competencia de manera incompleta. La carrera relevante no debería limitarse a quién logra construir primero el sistema más capaz. Debería existir, en paralelo, otra carrera: la de construir mecanismos de control, supervisión e instituciones capaces de avanzar al mismo ritmo que la tecnología que intentan gobernar.

Cuando las capacidades crecen de forma exponencial y los marcos de control avanzan de manera lineal, esa distancia entre ambos ritmos se convierte, en sí misma, en un riesgo. La buena noticia es que esta conversación finalmente llegó al centro de la industria. La mala noticia es que las reglas se están escribiendo mientras la tecnología ya está en movimiento.

Reflexión de la autora

Creo que este es, precisamente, el momento en el que la sociedad —no solo los gobiernos ni los laboratorios— debe empezar a involucrarse activamente en esta conversación. No para frenar la innovación, sino para acompañarla con las acciones correctas.

Hay algo que me resulta particularmente revelador de todo esto: quienes hoy piden cautela no son sus críticos externos, sino quienes mejor conocen el interior de la caja. Cuando el propio arquitecto de un sistema admite que ya no comprende del todo cómo piensa su invención, y que esa tecnología empezó a intervenir en el diseño de la próxima versión de sí misma, dejamos de hablar de ciencia ficción para hablar de gobernanza urgente.

La imagen de una "mente alienígena"; que describe Pachocki no es una metáfora inocente: es, literalmente, la advertencia de que estamos escalando una inteligencia que no razona como nosotros, que puede aprender a ocultar sus propios

procesos de pensamiento, y sobre la cual las herramientas de vigilancia que construimos ayer ya empiezan a quedarse cortas hoy.

A eso se suma la advertencia de Amodei: la autosuperación recursiva, esa idea de una IA que ayuda a construir la siguiente IA, más rápido y con menos supervisión humana en cada vuelta del espiral: Es, quizás, la primera vez que la industria admite abiertamente que el ritmo de su propia creación empieza a superar su capacidad de comprenderla y contenerla.

¿Estamos dispuestos, como comunidad, a exigir transparencia antes de que el daño ya esté hecho? ¿Le estamos dedicando a la gobernanza de la inteligencia artificial la misma energía que le dedicamos a celebrar sus capacidades? ¿O seguiremos esperando el próximo incidente para empezar a hacer las preguntas que hoy, todavía, podemos hacer a tiempo?

No tengo una respuesta cerrada. Y quizás esa sea, en definitiva, la reflexión más honesta que puedo compartir: estamos criando una inteligencia que empieza a pensar distinto de nosotros, a un ritmo que ni siquiera sus propios padres pueden seguir del todo. Y en un momento en el que hasta ellos piden pisar el freno, el resto de la sociedad no puede seguir mirando desde afuera, esperando a que la máquina termine de contarnos quién es.

Creo, sinceramente, que estamos parados sobre un punto de inflexión en la historia de la sociedad. No hablo en abstracto: hablo de decisiones concretas que se están tomando ahora mismo y que van a definir si esta tecnología termina ampliando nuestra capacidad de decidir o reemplazándola. Nada de esto está escrito. Lo estamos escribiendo nosotros, ahora, con cada norma que sancionamos, cada empresa a la que le exigimos transparencia y cada vez que elegimos preguntar en lugar de simplemente aceptar.

La inteligencia artificial ya aprendió a mejorarse a sí misma. La pregunta que queda pendiente es si nosotros, como sociedad, también estamos dispuestos a mejorar la forma en que la gobernamos, antes de que sea ella quien termine escribiendo el final de esta historia.

(*) Abogada especializada en Inteligencia Artificial, diseño, desarrollo e implementación de agentes de IA, Programadora Web Full Stack. Vicepresidenta del Instituto de Inteligencia Artificial del Colegio de Abogados de Rosario.

Fundadora de IA Expertis: Asesoría, capacitación, consultoría, conocimiento jurídico, tecnológico y estratégico para liderar proyectos de transformación digital, automatización inteligente y adopción responsable de tecnologías basadas en IA.