ainstein / investigación / resumenes-que-inventan

Uno de cada cinco resúmenes automáticos de nuestra memoria inventaba datos.

Auditamos los 37 resúmenes que un modelo escribe cada noche sobre nuestra memoria, con 75 agentes: un auditor por resumen y un refutador que demuele cada dictamen. Ocho inventaban personas, facturas o herramientas.

la pregunta

Cada noche, un modelo de lenguaje lee el trabajo del día del equipo y lo convierte en un mapa de personas, proyectos, entregables y decisiones. Ese mapa se agrupa solo en 37 zonas temáticas, como carpetas que nadie rotuló a mano, y para cada zona el mismo modelo escribe un nombre y un resumen. Ese resumen es lo que cualquiera del equipo ve al preguntar de qué trata esa parte de la memoria. Nadie verificaba si decía la verdad. Si el resumen miente, todos heredamos la mentira.

la vara

Un resumen aprueba si cada persona, cifra y herramienta que nombra existe en los datos de su propia zona. Reprueba si inventa una sola. Lo primero que probamos fue lo obvio: una persona revisó las 37 zonas y aprobó 35. Un día después, una revisión más profunda encontró tres casos que se le pasaron. No por descuido: cotejar cada nombre contra los datos reales 37 veces seguidas es un trabajo que nadie sostiene despierto.

La alternativa fue fuerza bruta con contrapeso: 75 agentes, copias del modelo con una sola instrucción cada una. Un auditor por zona que revisa el resumen contra la evidencia. Un refutador por auditor cuyo único mandato es demoler ese dictamen. Y una síntesis final. La idea que importa: no confiar en un revisor, sino poner a otro a destruirle el veredicto.

el resultado

8 de los 37 resúmenes inventaban datos: personas, facturas o herramientas que no existen entre sus propios datos, dichas con total seguridad y sin una señal de duda. Cinco de esas ocho zonas estaban bien organizadas por dentro: el problema no era el archivo, era el relato sobre el archivo. La estructura misma estaba sana en 33 de 37.

El refutador no fue adorno. En un caso frenó una limpieza que habría borrado datos verdaderos, un empleo real de un socio y un candidato entrevistado de verdad, que el auditor había dado por inventados.

El patrón es reconocible: cuando se le exige una etiqueta bonita, el modelo rellena los huecos con nombres plausibles. La única zona desordenada cuyo resumen fue honesto, «mezcla varios frentes sin un proyecto dominante», fue detectable justamente por esa confesión. Cuando puede admitir que no hay tema, admite. Cuando se le obliga a quedar bien, inventa.

un hallazgo que no esperábamos

Sospechábamos de las zonas que giran en torno a una sola ficha central. Falso: de las 10 zonas con esa forma, 9 estaban impecables, porque un proyecto real orbita alrededor de sí mismo. La única enferma tenía en el centro a una persona transversal a todo: en una empresa chica, la ficha del fundador toca todos los frentes, atrae fragmentos de todo y arma una zona sin tema. La señal de alarma no es cuánta gravedad tiene el centro, sino quién es.

La corrección, restarle peso a esa ficha antes de reagrupar, se probó en tres dosis. Solo la más radical deshizo la zona falsa sin romper 29 de las 33 sanas. Decidimos no desplegarla, y dejamos el costo por escrito.
lo que falta, sin maquillaje

Un verificador mecánico que coteje cada resumen contra sus datos habría atrapado los ocho casos por una fracción del costo; no existe todavía. La corrección espera pruebas de que las zonas sanas no se rompen. Y hay una zona que la revisora humana marcó como problemática y el barrido no encontró; debemos explicar por qué. Publicamos los pendientes porque un informe donde todo salió bien sería exactamente el tipo de resumen que esta auditoría existe para desenmascarar.

Nota posterior (agosto de 2026): el grafo del que salen estas zonas dejó de ser el camino para responder preguntas tras perder su propia medición. La lección de este estudio, medir el relato y no solo el archivo, sobrevive al grafo.

2026
ESTUDIO · memoria
● cerrado
resúmenes que inventaban datos8 / 37
zonas con estructura sana33 / 37
Cada cuadro es una zona temática de la memoria. Arriba, las que citaban personas, facturas o herramientas inexistentes. Abajo, las bien organizadas por dentro. Cinco zonas están en las dos filas.
POR QUÉ IMPORTA · así medimos todo lo que instalamos en la casa de un cliente: con una vara fijada antes, contra la alternativa más simple, y publicando el resultado aunque perdamos.

← Todos los estudios