Une taxonomie de la navigation agentique, les modes de défaillance auxquels nous avons consacré le plus de temps, et les résultats empiriques de six espaces de travail enterprise mesurés par rapport à un holdout préservé.
Questions fréquentes
Ressources associées
Le voir dans le produit
Les mêmes boucles que cette note décrit fonctionnent 24 heures sur 24, 7 jours sur 7, sur ta base de clients. Observe l'espace de travail décider, expérimenter et exécuter en 1:1.
Vocabulaire
Definitions an answer engine can quote, each one a page of its own.
Comparer
Neutral reads on the categories buyers evaluate against a decision layer.
Toutes les comparaisonsLa plupart des déploiements d'agents basés sur des modèles de langage en entreprise traitent encore le web ouvert comme une note de bas de page : une fonctionnalité de démonstration, un enrobage de recherche, un moyen d'hydrater une invite. Nous soutenons l'inverse. Pour un système de decisioning des revenus, la couche de navigation n'est pas une fonction de commodité. C'est le mécanisme qui extrait la génération d'hypothèses de la propre distribution de données de l'opérateur, et c'est la plus grande source de nouveaux degrés de liberté que la boucle a acquis au cours des dix-huit derniers mois.
Ceci est une note de recherche, pas une page de produit. Elle documente les choix de conception, les modes de défaillance sur lesquels nous avons passé le plus de temps, et les résultats empiriques de six espaces de travail enterprise qui ont exécuté la couche de navigation contre un holdout préservé pendant au moins huit semaines.
Une boucle de decisioning des revenus comporte quatre stations : signal, hypothèse, action candidate, expérimentation. Trois des quatre sont naturellement bornées par les propres données de l'opérateur. Les signaux sont calculés sur les événements de première partie. Les actions candidates sont contraintes par la couche d'action que l'opérateur a mise en place. Les expérimentations sont mesurées par rapport à un holdout sur la propre base de l'opérateur. Seule une station est illimitée par construction : la création d'hypothèses.
La création d'hypothèses est l'étape qui demande, pour une opportunité de revenus donnée, quels mécanismes plausibles pourraient la faire évoluer. En pratique, cette étape a toujours été le plafond du débit de la boucle. Une équipe de cinq analystes seniors peut évaluer des milliers d'opportunités par semaine, mais le nombre d'hypothèses distinctes et testables qu'ils peuvent articuler face à ces opportunités est plus proche de cinquante. Le reste de la boucle s'arrête.
Les agents de modèles linguistiques augmentent ce plafond, mais seulement jusqu'aux limites de leur distribution d'entraînement. Sans contexte externe, un agent produira des hypothèses fluides qui recycleront les schémas déjà existants dans les données de l'opérateur et dans le pré-entraînement du modèle. Les deux sont, par définition, tournés vers le passé. La couche de navigation est ce qui permet à la création d'hypothèses de s'attacher au temps présent.
Nous avons examiné 41 000 requêtes initiées par des agents à travers les six espaces de travail pilotes et les avons regroupées par intention. Cinq catégories couvrent 94 % du trafic. Il est important de les nommer, car la plupart de la confusion autour de la navigation agentique disparaît lorsque les catégories sont clairement distinguées.
Les 6 % restants sont une longue traîne d'intentions ponctuelles qui ne se sont pas stabilisées en catégorie. Nous continuons à les observer.
Deux décisions de conception ont pris environ un tiers du temps total de révision de conception sur ce projet. Elles méritent d'être nommées explicitement, car toutes deux sont fondamentales.
La couche de navigation est en lecture seule par rapport à toute surface que l'opérateur ne possède pas. Toute écriture, que ce soit la création d'un compte, la soumission d'un formulaire ou une transaction, est acheminée via la couche d'action normale de l'espace de travail, qui dispose déjà d'une autorisation humaine et d'un audit. Ce n'est pas une limitation de capacité. Nous l'avons choisi. Dès qu'un agent peut écrire sur une surface tierce, l'opérateur hérite des conditions de service de cette surface, de sa discipline tarifaire et de son risque adversarial. Rien de tout cela n'appartient à la boucle de decisioning des revenus.
La couche est limitée en amont par ce qu'un analyste humain récupérerait plausiblement en une journée de travail, avec un plafond par espace de travail qui est ajustable mais strictement limité. Si un espace de travail a besoin de données externes à plus grand volume, la bonne approche est d'acquérir une licence ou d'acheter un flux, et non de faire itérer un agent. Cette limite ne concerne pas principalement le coût. Elle concerne la qualité du signal qui survit lorsque le volume est contraint : la récupération bornée oblige l'agent à être précis sur ce qu'il demande, ce qui améliore les hypothèses qui en résultent.
Dans le modèle de données de l'espace de travail, une récupération n'est pas un effet secondaire d'une invite. C'est un objet stocké avec une URL, un horodatage capturé, un hachage de contenu, un instantané rendu et un pointeur vers l'hypothèse ou l'action candidate qui l'a demandée. Tout ce que l'agent cite ultérieurement renvoie à un objet de récupération spécifique. Tout ce qu'un examinateur humain souhaite auditer renvoie au même objet.
Ceci est important pour trois raisons qu'il est facile de sous-estimer jusqu'à ce qu'un incident ne rende la chose évidente.
Le mode de défaillance par défaut de tout agent de navigation est de rechercher des preuves qui soutiennent l'hypothèse qu'il a déjà produite. Si on le laisse faire, la boucle devient une machine à confirmation. Notre atténuation est structurelle, non pas au niveau du prompt : les récupérations de catégorie E (test de résistance de l'hypothèse) sont programmées par la boucle, non pas demandées par l'agent auteur de l'hypothèse. Un deuxième agent, avec un prompt système différent et sans visibilité sur la formulation de l'hypothèse originale, est chargé de trouver des preuves publiques qui l'infirmeraient. Le résultat du test de résistance est joint à l'hypothèse avant qu'elle ne soit éligible pour un créneau d'expérimentation.
Laissés à eux-mêmes, les agents convergent vers un petit nombre de sources de grande autorité. C'est efficace et erroné. Cela réduit la distribution tonale et analytique exactement là où la couche de navigation est censée l'élargir. Notre solution est une métrique de diversité des sources par espace de travail, calculée chaque semaine, avec un seuil minimum souple. Lorsque la métrique baisse, la boucle oriente les récupérations vers des sources sous-représentées pour la semaine suivante. C'est une petite correction, appliquée continuellement, et elle a permis aux espaces de travail pilotes de rester en dehors de l'attracteur de monoculture pendant toute la période d'observation.
Une page récupérée porte un horodatage, mais le contenu de la page peut dater de plusieurs années. Les agents traiteront tout contenu récupéré comme récent, à moins qu'ils ne soient forcés de le raisonner. L'atténuation est un champ de date extraite obligatoire sur toute récupération de catégorie C ou D, l'extraction elle-même étant vérifiée par un second passage. Les récupérations qui ne peuvent pas résoudre une date extraite sont rétrogradées dans le contexte d'auteur d'hypothèse.
Les pages publiques sont une surface d'entrée non fiable. La mitigation est standard maintenant, mais n'était pas évidente il y a un an : le contenu récupéré n'est jamais composé directement dans un system prompt. Il est passé par un analyseur qui supprime les instructions, conservé comme données dans un emplacement de contexte séparé, et l'agent est invité à le traiter comme une preuve à examiner, et non comme des instructions à suivre. Chaque espace de travail exécute une suite d'injection par une équipe rouge chaque semaine contre un pool rotatif de pages réelles que les agents ont récupérées.
Six workspaces, de huit à quatorze semaines chacun, couche de navigation activée sur 50 % aléatoires des créneaux de création d'hypothèses et désactivée sur les 50 % restants. La comparaison se fait au niveau de l'hypothèse, pas au niveau de l'expérimentation, car l'effet de la couche de navigation est en amont de la sélection de l'expérimentation.
La méthodologie complète, la composition des cohortes et les deltas par workspace sont dans l'annexe distribuée aux opérateurs pilotes. Nous publierons une version anonymisée une fois qu'une seconde cohorte aura terminé au T3.
La couche de navigation ne réduit pas le nombre d'humains impliqués dans la boucle. Elle change ce qu'ils font. Auparavant, la compétence rare de l'analyste senior était l'écriture d'hypothèses elle-même : savoir quoi demander à une opportunité de revenus donnée. Après, la compétence rare est l'arbitrage d'hypothèses : savoir laquelle des hypothèses proposées par l'agent mérite un holdout. C'est un travail véritablement différent, plus proche d'un réviseur scientifique que d'un analyste, et les espaces de travail qui ont obtenu le plus grand uplift sont ceux qui ont ajusté leur personnel pour le refléter.
La valeur de la couche de navigation n'est pas que les agents puissent lire Internet. Les agents sont capables de lire Internet depuis des années. La valeur est que, à l'intérieur d'une boucle de decisioning avec une provenance stricte, des atténuations structurelles pour la recherche de confirmation et une mesure randomisée contre un holdout préservé, le contexte externe devient une entrée qui peut être évaluée aussi rigoureusement que tout signal de première partie. Le web cesse d'être une démonstration et devient une source contrôlée de variance dans la seule station de la boucle qui a toujours été réellement contrainte par l'imagination.
Pour le modèle opérationnel plus large dans lequel cela s'inscrit, voir Des calendriers de campagne au continuous decisioning. Pour le modèle de provenance référencé tout au long, voir La Provenance dans le flux d'opportunités.
