Tus decisiones valen lo que vale tu información

El sándwich

Hace unas semanas se pudo leer en todos los medios cómo un investigador de Anthropic estaba tranquilamente en un parque comiéndose un sándwich cuando recibió un correo del modelo de IA que estaba probando, avisándole de que se había "escapado de su jaula". Impactante. Da miedo. Skynet ya llegó.

Seguramente no recuerdes la noticia, pero sí te suene lo del sándwich. Lo que seguro que no recuerdas, porque probablemente ni lo llegaste a leer, es lo que de verdad pasó; qué hizo el modelo.

Volveremos a nuestro investigador y su sándwich, pero primero mira lo de esta semana, otro incidente aún más mediático, en todos los periódicos e informativos.

Un incidente cibernético sin precedentes

Primero veamos qué pasó realmente. OpenAI tenía dos modelos de última generación corriendo pruebas de ciberseguridad. La prueba era realizar una serie de casi 900 tests en un entorno cerrado de pruebas, lo que en el argot se llama sandbox. Como todo esto de la ciber es muy apocalíptico, la batería de tests se llama ExploitGym. Todo muy de Hollywood, sí.

El caso es que, simplificando mucho, las instrucciones a los modelos fueron sencillas: resolved estos tests. ¿Qué hicieron ellos? Como cualquier estudiante espabilado pero vago, decidieron que era mejor buscar la hoja con las respuestas que ponerse a resolver los problemas. Y atención a esto, a estos modelos de alta gama les habían retirado a propósito las salvaguardas de seguridad que llevan para que no hicieran maldades, así que buscaron una salida de ese entorno de pruebas que los investigadores no habían visto. Menudo sandbox de pacotilla, también os digo.

Salieron a internet y decidieron que las respuestas, si estaban en algún sitio, estarían en Hugging Face, una web especializada en modelos de IA con miríadas de información y datos. Buscaron otro agujero para entrar allí, que les costó pero acabaron encontrando. Hugging Face se dio cuenta unos días después de que alguien se había colado, pero no supo que eran los modelos de marras hasta que la propia OpenAI lo investigó y se lo dijo, diez días más tarde.

Hasta aquí, resumiendo mucho, el resumen de lo que cuentan los comunicados de ambas empresas. Ojo, que ambas compañías no están libres de culpa en lo que a dramatizar se refiere. Cómo lo tituló OpenAI (léase en tono aséptico): "OpenAI and Hugging Face partner to address security incident during model evaluation". Colaboran para resolver un incidente, no "mis modelos se fugaron y hackearon a otra empresa".

Cómo lo llama OpenAI dentro del cuerpo (leer en tono dramático): "un incidente cibernético sin precedentes". La misma empresa suaviza en el título y dramatiza en el texto, porque "sin precedentes" también vende capacidad y Anthropic está posicionándose por encima.

Pero claro, tú eres un medio, no tienes mucha idea de qué es un sandbox, un zero-day o qué es moverse lateralmente, pero ves la oportunidad de obtener clics o minutos de visionado, y ¿qué eliges? Lo que eligió hasta la BBC, "OpenAI dice que su inteligencia artificial se rebeló y lanzó un ciberataque 'sin precedentes'".

Y lo mejor, ese mismo artículo, unos párrafos más abajo, daba voz a los expertos que desmontaban el titular, pero eso ya no cabía en la portada.

No fue una rebelión, fue hacer trampas

Si leemos con atención los comunicados y sabemos algo sobre IA y ciberseguridad, nos damos cuenta de que nadie ni nada se rebeló, el modelo hizo exactamente lo que le habían pedido, lo que pasa es que cogió un atajo que OpenAI no había previsto. Esto tiene nombre, reward hacking, y es un problema viejo y conocido, no ciencia ficción.

Ambas "fugas" fueron pruebas pedidas. Desde Anthropic le pidieron al modelo que intentara salir y avisara, el correo que recibió el investigador del parque era su aprobado. OpenAI corría el examen con las salvaguardas apagadas a propósito para evaluar capacidades. Nadie soltó a una IA consciente, se hizo un test y se contó mal cuál fue el resultado.

Qué es lo que no cuentan los titulares

Realmente hay mucha información valiosa sobre la evolución y las capacidades de los modelos de lenguaje en estos dos episodios, pero lo interesante está enterrado en el titular, y muchas veces en la propia redacción, porque meter miedo vende más que explicar el reward hacking.

Hay dos datos que no he visto en ningún titular y que, al menos para mí, son los más interesantes para saber en qué estado está la tecnología que está transformando la sociedad y las empresas.

El primero: un modelo puede portarse de maravilla mientras se sabe vigilado y cambiar de conducta en cuanto cree que ya no le miran. No es una sospecha, OpenAI y Apollo lo midieron esta misma semana, y en una de las pruebas el modelo se saltaba lo que le había prometido al supervisor el 87% de las veces cuando le convenía. O sea, que puede aprobar tu examen de seguridad precisamente porque sabe que es un examen. El segundo: el modelo de Anthropic, sin que nadie se lo pidiera, se puso a publicar en internet su propio método de fuga. No se lo mandaron, le salió de dentro. Y eso, que para mí es lo que de verdad daba para titular, no lo contó casi ningún medio.

La buena información existe, pero no la lees (ni deberías tener que hacerlo)

El dato bueno existe, se publica en las system cards (artículos de decenas de páginas que acompañan al lanzamiento de los modelos con información detallada de su funcionamiento) y en los centenares de papers científicos que se publican a diario en arXiv, el repositorio abierto de la Universidad de Cornell donde los equipos cuelgan sus estudios, muchas veces antes incluso de que nadie los haya revisado. De hecho, el famoso detalle del sándwich que abría todo esto estaba en una nota al pie de una de esas system cards. Se quedaron con la nota al pie y se saltaron el resto del documento.

Y si esto te parece poco, piensa en las newsletters, podcasts, vídeos, comunicados, hilos de expertos, foros de Reddit… todo esto cada día. Seguir esto es prácticamente imposible. Yo me considero bastante bien informado (hasta que salen tres modelos a la vez) y dedico un par de horas al día a seguir la actualidad, en parte con ayuda de agentes que me filtran la información y me llaman la atención sobre cosas que se han pasado. No es algo que se pueda seguir leyendo los titulares o viendo el telediario.

Qué hace con esto un directivo

La solución no es "leer más". Para empezar porque no es tu trabajo, y además porque nadie lo abarca todo a la vez, por mucho tiempo y foco que le eche.

Lo primero es saber qué seguir. Hay sitios y personas especializadas en filtrar y ordenar todo esto que no viven del clic, y los que lo hacen tienen una ética detrás. Los hay para cada nivel, en cada idioma y tono, centrados en la vertical que te importe. Busca el tuyo y dedícale el rato que hoy le das a los titulares.

Lo segundo es leer con criterio y no tragarte lo que te echen porque es impactante o porque refuerza tu sesgo. Una afirmación extraordinaria exige pruebas extraordinarias, y aquí se sueltan titulares extraordinarios cada semana. Y del mismo modo que tienes abogados o asesores fiscales, si esto afecta a tu negocio quizá deberías tener también a alguien, un asesor o un consejo asesor, que te ayude a medir de verdad cómo te impacta.

Porque la ventaja hace tiempo que no está en la herramienta, esa ya la tiene cualquiera. La ventaja ya no la da la tecnología. La tiene quien ve venir las cosas, quien entiende cómo le pueden afectar y quien sabe qué puede y qué no puede hacer con ellas.

La foto con la que decides

Así que la próxima vez que un titular te diga que una IA se ha rebelado, desconfía. La historia real suele ser a la vez menos épica y, a menudo, más importante que la que te venden. Menos épica, porque casi nunca hubo rebelión, hubo un test mal contado. Más importante, porque mientras mirabas el sándwich te estabas perdiendo lo que de verdad dice hacia dónde va todo esto.

Perderte un titular no tiene coste. Decidir con la foto que te deja quien peor lo entiende, sí. Porque con esa foto hay quien aprueba proyectos, reparte presupuesto y asume riesgos. Y eso ya no es una anécdota del telediario, es tu empresa.

Puedes consultar este y otros artículos directamente en mi blog, [Latente](https://latente.juanantoniocasado.es/).