Medimos nuestra herramienta favorita. Perdió, y la detuvimos.

Una empresa de tres socios y una tripulación de agentes produce cada día registros de trabajo: qué se decidió, qué se descartó, quién dijo qué. Durante meses construimos un grafo de conocimiento, un mapa de personas, proyectos y decisiones unidas por sus relaciones, para que esa memoria respondiera preguntas. Era la herramienta que más nos gustaba. La pregunta honesta era otra: ¿responde mejor que no tenerla?

Armamos un banco de 95 preguntas reales sobre 10 proyectos, cada una con su respuesta verificada a mano contra la fuente. Dos caminos compiten. El primero es el grafo: identifica los nombres que menciona la pregunta, los usa como puntos de partida y propaga la señal por el mapa hasta traer los fragmentos relevantes. El segundo es el más simple que existe: leer el estado del proyecto y sus hitos, dos documentos cortos que el equipo ya escribía. Un lector, un modelo de lenguaje, recibe lo que cada camino trae y contesta.

Acierto: la respuesta es correcta y sale de la fuente correcta. Lo decide un jurado de tres modelos por mayoría, porque un juez solo, medido sobre respuestas idénticas, movía el marcador hasta dos aciertos arriba o abajo. Gana el camino que contesta más.

El grafo contestó 26 de 95. Leer el estado y los hitos contestó 80 de 95. La diferencia es diez veces mayor que el ruido del montaje, así que no hay discusión posible. El grafo pierde incluso en lo que era su especialidad declarada, las decisiones: 17 contra 31.

Lo interesante está en el porqué. El grafo apunta bien: la fuente correcta aparece entre lo que trae más veces que en el otro camino. Pero entrega fragmentos que mencionan el tema en vez de prosa que lo declara, y el lector no alcanza a armar la respuesta. El documento de estado, escrito por una persona para ser leído, ya viene armado.

Cuatro veces, antes de llegar a este número, medimos nuestro propio montaje en vez del fenómeno: un juez que sorteaba, un prefijo del identificador que delataba la respuesta, los acentos de un nombre de proyecto que partían el banco en dos, y un tope de material que en realidad medía casi solo el documento de estado. Al número hay que ir a explicárselo al mecanismo. Una corrida no es una medición: tres corridas idénticas del mismo sistema se movieron dos aciertos entre sí, y ese es el piso de ruido bajo el cual nada cuenta.

La investigación cambió de objeto. De las 8.531 entradas de nuestra memoria, el 2 % es material curado por personas, y ese 2 % responde el 84 % de las preguntas. El trabajo ahora es escribir mejor ese 2 % y leerlo bien, no construir estructuras encima. Lo que perdimos en elegancia lo ganamos en respuestas.