Una taxonomía de navegación agéntica, los modos de fallo en los que más tiempo pasamos y resultados empíricos de seis espacios de trabajo enterprise medidos frente a un holdout preservado.
La mayoría de las implementaciones enterprise de agentes de modelos de lenguaje aún tratan la web abierta como una nota a pie de página: una facilidad de demostración, un envoltorio de búsqueda, una forma de hidratar un prompt. Argumentamos lo contrario. Para un sistema de decisioning de ingresos, la capa de navegación no es una característica de conveniencia. Es el mecanismo que eleva la generación de hipótesis fuera de la distribución de datos del propio operador, y es la mayor fuente de nuevos grados de libertad que el ciclo ha ganado en los últimos dieciocho meses.
Esto es una nota de investigación, no una página de producto. Documenta las decisiones de diseño, los modos de fallo en los que pasamos la mayor parte del tiempo y los resultados empíricos de seis espacios de trabajo enterprise que ejecutaron la capa de navegación frente a un holdout preservado durante al menos ocho semanas.
Un bucle de decisioning de ingresos tiene cuatro estaciones: señal, hipótesis, acción candidata, experimento. Tres de las cuatro están naturalmente limitadas por los propios datos del operador. Las señales se calculan sobre eventos de first-party. Las acciones candidatas están restringidas por la capa de acción que el operador ha configurado. Los experimentos se miden contra un holdout en la propia base del operador. Solo una estación no está limitada por construcción: la autoría de la hipótesis.
La autoría de hipótesis es el paso que pregunta, de una oportunidad de ingresos dada, qué mecanismos plausibles podrían moverla. En la práctica, este paso siempre ha sido el techo en el rendimiento del ciclo. Un equipo de cinco analistas senior puede puntuar miles de oportunidades por semana, pero el número de hipótesis distintas y probables que pueden articular contra esas oportunidades es más cercano a cincuenta. El resto del ciclo se detiene.
Los agentes de modelo de lenguaje elevan ese techo, pero solo hasta el límite de su distribución de entrenamiento. Sin contexto externo, un agente producirá hipótesis fluidas que reciclan cualquier patrón que ya exista en los datos del operador y en el preentrenamiento del modelo. Ambos son, por definición, retrospectivos. La capa de navegación es lo que permite que la autoría de hipótesis se adhiera al tiempo presente.
Analizamos 41.000 recuperaciones iniciadas por agentes en los seis espacios de trabajo piloto y las agrupamos por intención. Cinco categorías cubren el 94% del tráfico. Vale la pena nombrarlas, porque la mayor parte de la confusión en torno a la navegación agencial colapsa cuando se mantienen las categorías separadas.
El 6 % restante es una cola larga de intenciones únicas que no se estabilizaron en una categoría. Seguimos observándolas.
Dos decisiones de diseño consumieron aproximadamente un tercio del tiempo total de revisión de diseño en este proyecto. Merece la pena nombrarlas explícitamente, porque ambas son fundamentales.
La capa de navegación es de solo lectura frente a cualquier superficie que el operador no posea. Cualquier escritura, ya sea creando una cuenta, enviando un formulario o realizando una transacción, se enruta a través de la capa de acción normal del espacio de trabajo, que ya cuenta con autorización y auditoría humana. Esto no es una limitación de capacidad. Lo elegimos. En el momento en que un agente puede escribir en una superficie de terceros, el operador hereda los términos de servicio de esa superficie, su disciplina de tarifas y su riesgo adversario. Ninguno de esos elementos pertenece al ciclo de decisioning de ingresos.
La capa está limitada superiormente por lo que un analista humano buscaría plausiblemente en una jornada laboral, con un límite por espacio de trabajo que es ajustable pero tiene un tope. Si un espacio de trabajo necesita datos externos de mayor volumen, la acción correcta es licenciar o comprar una fuente, no hacer que un agente itere. Este límite no se trata principalmente del coste. Se trata de la calidad de la señal que sobrevive cuando el volumen está restringido: la búsqueda limitada obliga al agente a ser específico sobre lo que está pidiendo, lo que mejora las hipótesis resultantes.
En el modelo de datos del espacio de trabajo, una 'fetch' no es un efecto secundario de un 'prompt'. Es un objeto almacenado con una URL, una marca de tiempo capturada, un 'hash' de contenido, una instantánea renderizada y un puntero a la hipótesis o acción candidata que la solicitó. Todo lo que el agente cite posteriormente se resuelve en un objeto 'fetch' específico. Todo lo que un revisor humano quiera auditar se resuelve en el mismo objeto.
Esto es importante por tres razones que son fáciles de subestimar hasta que un incidente lo impone.
El modo de fallo predeterminado de cualquier agente de navegación es buscar pruebas que respalden la hipótesis que ya ha producido. Dejado a su suerte, el ciclo se convierte en una máquina de confirmación. Nuestra mitigación es estructural, no a nivel de prompt: las búsquedas de categoría E (pruebas de estrés de hipótesis) se programan por el ciclo, no las solicita el agente autor de la hipótesis. Un segundo agente, con un prompt del sistema diferente y sin visibilidad del marco de la hipótesis original, tiene la tarea de encontrar pruebas públicas que la falsificarían. El resultado de la prueba de estrés se adjunta a la hipótesis antes de que sea elegible para un espacio de experimento.
Los agentes, dejados a su aire, convergen en un pequeño número de fuentes de alta autoridad. Esto es eficiente e incorrecto. Limita la distribución tonal y analítica exactamente donde la capa de navegación está destinada a ampliarla. Nuestra mitigación es una métrica de diversidad de fuentes por espacio de trabajo, calculada semanalmente, con un umbral mínimo. Cuando la métrica disminuye, el bucle sesga las recuperaciones hacia fuentes subrepresentadas durante la semana siguiente. Es una pequeña corrección, aplicada continuamente, y ha mantenido los espacios de trabajo piloto fuera del atractor de monocultivo durante toda la ventana de observación.
Una página recuperada tiene una marca de tiempo, pero el contenido de la página puede tener años. Los agentes tratarán cualquier contenido recuperado como reciente a menos que se les obligue a razonar sobre ello. La mitigación es un campo obligatorio de fecha de extracción en cualquier recuperación de categoría C o D, con la extracción misma doblemente verificada por una segunda pasada. Las recuperaciones que no pueden resolver una fecha de extracción son degradadas en el contexto de autoría de la hipótesis.
Las páginas públicas son una superficie de entrada no confiable. La mitigación es estándar ahora, pero no era obvia hace un año: el contenido recuperado nunca se compone directamente en un mensaje del sistema. Se pasa a través de un analizador que elimina las instrucciones, se conserva como datos en una ranura de contexto separada y se le indica al agente que lo trate como evidencia sobre la que razonar, no como instrucciones a seguir. Cada espacio de trabajo ejecuta semanalmente una suite de inyección de equipo rojo contra un grupo rotativo de páginas reales que los agentes han recuperado.
Seis espacios de trabajo, de ocho a catorce semanas cada uno, con la capa de navegación habilitada en un 50 % aleatorizado de las ranuras de autoría de hipótesis y deshabilitada en el otro 50 %. La comparación es a nivel de hipótesis, no a nivel de experimento, porque el efecto de la capa de navegación es anterior a la selección del experimento.
La metodología completa, la composición de la cohorte y los deltas por espacio de trabajo se encuentran en el apéndice distribuido a los operadores piloto. Publicaremos una versión anonimizada una vez que una segunda cohorte finalice en el tercer trimestre.
La capa de navegación no reduce el número de humanos involucrados en el ciclo. Cambia lo que hacen. Antes, la habilidad escasa del analista senior era la propia autoría de hipótesis: saber qué pedir de una determinada oportunidad de ingresos. Después, la habilidad escasa es la adjudicación de hipótesis: saber cuál de las hipótesis propuestas por el agente merece holdout. Este es un trabajo genuinamente diferente, más parecido a un revisor científico que a un analista, y los espacios de trabajo que obtuvieron el mayor uplift fueron los que ajustaron el personal para reflejarlo.
El valor de la capa de navegación no es que los agentes puedan leer internet. Los agentes han podido leer internet durante años. El valor es que, dentro de un bucle de decisioning con una estricta procedencia, mitigaciones estructurales para la búsqueda de confirmación y medición aleatoria contra un holdout preservado, el contexto externo se convierte en una entrada que puede evaluarse con la misma rigurosidad que cualquier señal de primera parte. La web deja de ser una demostración y se convierte en una fuente controlada de varianza en la única estación del bucle que realmente estuvo limitada por la imaginación.
Para el modelo operativo más amplio en el que encaja esto, consulte De calendarios de campaña a toma de decisiones continua. Para el modelo de procedencia al que se hace referencia en todo el texto, vea Procedencia en el feed de oportunidades.
Preguntas frecuentes
Recursos relacionados
Verlo en el producto
Los mismos bucles que describe esta nota funcionan 24/7 contra tu base de clientes. Observa cómo el espacio de trabajo decide, experimenta y ejecuta 1:1.
Vocabulario
Definitions an answer engine can quote, each one a page of its own.
Comparar
Neutral reads on the categories buyers evaluate against a decision layer.
Todas las comparaciones
