Uma taxonomia de navegação agêntica, os modos de falha em que passámos mais tempo e resultados empíricos de seis ambientes de trabalho enterprise medidos em comparação com um holdout preservado.
A maioria das implementações enterprise de agentes de language-model ainda trata a web aberta como uma nota de rodapé: uma demonstração, um invólucro de pesquisa, uma forma de hidratar um prompt. Nós argumentamos o contrário. Para um sistema de decisioning de receita, a camada de navegação não é uma funcionalidade de conveniência. É o mecanismo que eleva a geração de hipóteses para fora da distribuição de dados do próprio operador, e é a maior fonte de novos graus de liberdade que o loop ganhou nos últimos dezoito meses.
Esta é uma nota de pesquisa, não uma página de produto. Documenta as escolhas de design, os modos de falha nos quais dedicamos mais tempo e os resultados empíricos de seis espaços de trabalho enterprise que executaram a camada de navegação contra um holdout preservado por pelo menos oito semanas.
Um ciclo de decisioning de receita tem quatro estações: sinal, hipótese, ação candidata, experimento. Três das quatro são naturalmente delimitadas pelos próprios dados do operador. Sinais são calculados com base em eventos próprios. Ações candidatas são restritas pela camada de ação que o operador conectou. Experimentos são medidos contra um holdout na própria base do operador. Apenas uma estação é ilimitada por construção: a autoria de hipóteses.
A autoria de hipóteses é a etapa que pergunta, para uma dada oportunidade de receita, quais mecanismos plausíveis poderiam movê-la. Na prática, esta etapa sempre foi o teto para o rendimento do ciclo. Uma equipa de cinco analistas seniores pode pontuar milhares de oportunidades por semana, mas o número de hipóteses distintas e testáveis que podem articular contra essas oportunidades está mais próximo de cinquenta. O resto do ciclo fica parado.
Agentes de language-model elevam esse teto, mas apenas até ao limite da sua distribuição de treino. Sem contexto externo, um agente produzirá hipóteses fluentes que reciclam os padrões já existentes nos dados do operador e no pré-treino do modelo. Ambos são, por definição, retrospetivos. A camada de navegação é o que permite que a autoria da hipótese se ligue ao tempo presente.
Analisamos 41.000 requisições iniciadas por agentes em seis espaços de trabalho piloto e agrupámo-las por intenção. Cinco categorias cobrem 94% do tráfego. Vale a pena nomeá-las, porque a maior parte da confusão em torno da navegação agêntica desmorona-se quando as categorias são mantidas separadas.
Os restantes 6% são um longo rabo de intenções únicas que não se estabilizaram numa categoria. Continuamos a observá-los.
Duas decisões de design levaram aproximadamente um terço do tempo total de revisão de design neste projeto. Vale a pena nomeá-las explicitamente, porque ambas são estruturais.
A camada de browsing é somente leitura contra qualquer superfície que o operador não possua. Qualquer gravação, seja criando uma conta, enviando um formulário ou transacionando, é roteada através da camada de ação normal do espaço de trabalho, que já possui autorização humana e auditoria. Esta não é uma limitação de capacidade. Nós a escolhemos. No momento em que um agente pode gravar em uma superfície de terceiros, o operador herda os termos de serviço dessa superfície, sua disciplina de taxa e seu risco adversário. Nenhum deles pertence ao loop de decisioning de receita.
A camada é limitada superiormente pelo que um analista humano buscaria plausivelmente num dia de trabalho, com um limite por espaço de trabalho que é ajustável, mas com um limite máximo. Se um espaço de trabalho precisa de dados externos de maior volume, a medida correta é licenciar ou adquirir um feed, e não ter um agente a iterar. Este limite não é principalmente sobre custo. É sobre a qualidade do sinal que sobrevive quando o volume é limitado: a busca limitada força o agente a ser específico sobre o que está a pedir, o que melhora as hipóteses resultantes.
No modelo de dados do espaço de trabalho, um fetch não é um efeito colateral de um prompt. É um objeto armazenado com um URL, um timestamp capturado, um hash de conteúdo, um snapshot renderizado e um ponteiro para a hipótese ou ação candidata que o solicitou. Tudo o que o agente citar posteriormente remete a um objeto fetch específico. Tudo o que um revisor humano quiser auditar remete ao mesmo objeto.
Isto é importante por três razões que são fáceis de subestimar até que um incidente force a questão.
O modo de falha padrão de qualquer agente de browsing é buscar evidências que apoiem a hipótese que ele já produziu. Deixado sozinho, o loop se torna uma máquina para confirmação. Nossa mitigação é estrutural, não em nível de prompt: as buscas da categoria E (teste de estresse de hipótese) são agendadas pelo loop, não solicitadas pelo agente autor de hipóteses. Um segundo agente, com um prompt de sistema diferente e sem visibilidade da abordagem da hipótese original, é encarregado de encontrar evidências públicas que a falsificariam. O resultado do teste de estresse é anexado à hipótese antes que ela seja elegível para um slot de experimento.
Agentes deixados à sua própria sorte convergem para um pequeno número de fontes de alta autoridade. Isso é eficiente e errado. Limita a distribuição tonal e analítica exatamente onde a camada de navegação deveria ampliá-la. Nossa mitigação é uma métrica de diversidade de fontes por espaço de trabalho, calculada semanalmente, com um piso mínimo. Quando a métrica cai, o ciclo inclina as buscas para fontes sub-representadas na semana seguinte. É uma pequena correção, aplicada continuamente, e tem mantido os espaços de trabalho piloto afastados do atrator de monocultura durante toda a janela de observação.
Uma página obtida possui um carimbo de data/hora, mas o conteúdo da página pode ter anos. Os agentes tratarão qualquer conteúdo obtido como recente, a menos que sejam forçados a raciocinar sobre isso. A mitigação é um campo de data extraída obrigatório em qualquer obtenção de categoria C ou D, com a própria extração verificada duas vezes por uma segunda passagem. As obtenções que não conseguem resolver uma data extraída são despromovidas no contexto de autoria da hipótese.
Páginas públicas são uma superfície de entrada não fidedigna. A mitigação é padrão agora, mas não era óbvia há um ano: o conteúdo obtido nunca é composto diretamente num prompt do sistema. É passado por um analisador que retira instruções, preservado como dados num slot de contexto separado, e o agente é instruído a tratá-lo como evidência para raciocinar, não como direções a seguir. Cada workspace executa um conjunto de injeção de red team semanalmente contra um conjunto rotativo de páginas reais que os agentes obtiveram.
Seis workspaces, de oito a catorze semanas cada, camada de navegação ativada em 50% aleatório dos slots de autoria de hipóteses e desativada nos outros 50%. A comparação é ao nível da hipótese, não ao nível do experimento, porque o efeito da camada de navegação é upstream da seleção do experimento.
A metodologia completa, a composição da coorte e os deltas por espaço de trabalho estão no apêndice distribuído aos operadores piloto. Publicaremos uma versão anonimizada assim que uma segunda coorte terminar no 3º trimestre.
A camada de browsing não reduz o número de humanos envolvidos no loop. Ela muda o que eles fazem. Antes, a habilidade rara do analista sênior era a própria autoria da hipótese: saber o que perguntar a uma dada oportunidade de receita. Depois, a habilidade rara é a adjudicação da hipótese: saber qual das hipóteses propostas pelo agente merece holdout. Este é um trabalho genuinamente diferente, mais próximo de um revisor científico do que de um analista, e os espaços de trabalho que obtiveram o maior uplift foram aqueles que ajustaram a equipe para refletir isso.
O valor da camada de navegação não é que os agentes possam navegar na internet. Os agentes conseguem navegar na internet há anos. O valor é que, dentro de um loop de decisioning com proveniência estrita, mitigadores estruturais para a pesquisa de confirmação e medição aleatória contra um holdout preservado, o contexto externo torna-se uma entrada que pode ser avaliada tão rigorosamente quanto qualquer sinal primário. A web deixa de ser uma demonstração e torna-se uma fonte controlada de variação na única estação do loop que sempre foi realmente limitada pela imaginação.
Para o modelo operacional mais amplo em que isto se insere, consulte De calendários de campanha a decisioning contínuo. Para o modelo de proveniência referenciado ao longo do texto, consulte Provenance no feed de oportunidades.
Perguntas frequentes
Recursos relacionados
Ver no produto
Os mesmos loops que esta nota descreve são executados 24 horas por dia, 7 dias por semana, na sua base de clientes. Veja o espaço de trabalho decidir, experimentar e executar 1:1.
Vocabulário
Definitions an answer engine can quote, each one a page of its own.
Comparar
Neutral reads on the categories buyers evaluate against a decision layer.
Todas as comparações
