Para empresas que implementam IA em processos de conformidade, uma data incorreta significa um prazo perdido. A falha mais perigosa é uma resposta errada que o modelo oferece com um alto grau de confiança; uma resposta que se integra silenciosamente em um cronograma de conformidade e só é descoberta depois que o prazo expirou. A Archer®divulgou hoje os resultados demonstrando que uma IA desenvolvida para fins específicos supera um modelo de linguagem extenso (LLM) de uso geral em tarefas regulatórias, sendo a diferença expressiva. Este teste comparativo direto avaliou a IA da Archer, criada sob medida para o setor e baseada em conjuntos de dados proprietários, frente a um LLM líder de uso geral, em uma tarefa essencial de conformidade: determinar as datas de publicação, de entrada em vigor e de encerramento do período de consulta pública de documentos regulatórios em seis jurisdições.
Modelos de uso geral representam um avanço genuíno, e isso não é um julgamento sobre a qualidade deles. A questão que a Archer se dispôs a responder é mais concreta e prática: o que é necessário para tornar uma decisão específica e de alto impacto confiável, rápida e acessível em grande escala. Um processo vertical, com foco em um domínio específico e fundamentado em uma base de conhecimento validada por especialistas, se sobressai nestes três aspectos ao mesmo tempo.
Precisão: 90% menos respostas incorretas
Ao analisar os mesmos 55 documentos, o LLM de uso geral errou em 56% dos casos. O nível de confiança atribuído pelo modelo piorou o resultado, em vez de melhorá-lo: 35% das respostas classificadas com alta confiança estavam incorretas. Com o Archer Evolv, mais de 95% das determinações são verificadas diretamente, e as demais encaminhadas a um especialista antes de serem utilizadas. Nenhuma data incorreta chegou à produção. Nada é liberado sem verificação.
|
Resultado nos documentos de amostra |
Processo genérico de LLM |
Archer Evolv |
|
Correto |
44% |
95% verificado e 5% revisado por especialistas |
|
Incorreto, e retornado como válido |
25% |
0% |
|
Com falha ou com tempo limite excedido |
31% |
0% |
A confiança do próprio modelo não é uma variável de controle. Das respostas às quais o LLM de uso geral atribuiu alta confiança, 35% estavam incorretas. Esta lacuna de precisão é a condição prévia para a implementação responsável de IA agêntica, pois um operador autônomo é tão confiável quanto as decisões com que se baseia. Respostas verificadas, com rastreabilidade de fonte e validadas por especialistas, possibilitam a implementação segura de agentes de IA em toda a empresa. Este é o núcleo da governança de IA e o nível que a Archer está determinada a proporcionar.
“Em termos de conformidade, uma resposta rápida e barata, porém incorreta, não tem valor, e uma resposta que não pode ser rastreada representa um risco”, disse Kayvan Alikhani, Diretor de Produto e Tecnologia da Archer. “A IA da Archer, desenvolvida especificamente para este fim, verificou mais de 95% das decisões em tempo real. Esta é a base que permite às empresas expandir agentes de IA sem perder o controle sobre os resultados.”
Velocidade: respostas verificadas em tempo real
Conforme solicitação, o processo de uso geral levou, em média, cerca de quatro segundos por resposta dentro de um limite de tempo de cinco segundos. O Archer Evolv forneceu um dado verificado em cerca de cinco centésimos de segundo; cerca de 80 vezes mais rápido em consultas sequenciais. Para agentes de IA e analistas que trabalham no ritmo de um cronograma regulatório, esta é a diferença entre acompanhar o fluxo e se converter em um gargalo.
Custo: uma base de conhecimento persistente e verificada, sem inferência sob demanda
Um processo de uso geral recalcula a resposta a cada solicitação, sem memória de resultados anteriores. O Archer Evolv executa o cálculo uma única vez durante a ingestão, valida o resultado em uma base de conhecimento escalável e supervisionada por especialistas, e o armazena para futuras consultas, com custos e latência muito menores. Quando uma regulamentação é modificada, o Evolv detecta a mudança de modo proativo, revalida a informação e gera uma nova versão da resposta atualizada. Nenhuma resposta fornecida fica desatualizada. Para um conjunto de 500 documentos com 12 consultas mensais cada, isto representa 6.000 determinações, em comparação a apenas 500. O Archer Evolv evita cerca de 92% das chamadas de inferência; uma economia estrutural incrementada à medida que cresce o volume.
O contexto é o que torna isto possível
A vantagem do Archer Evolv reside no contexto: antes de qualquer IA entrar em ação, a ferramenta avalia as jurisdições, produtos, unidades de negócios, riscos e temas regulatórios da organização, garantindo que cada decisão esteja baseada no que é relevante àquela empresa. Esta é a diferença entre uma resposta qualquer e uma resposta defensável. Quanto mais agentes uma empresa implementa, mais valiosa se torna esta base, pois cada agente herda os mesmos fundamentos verificados e com origem rastreável, em vez de ter de refazer o panorama do zero.
“As empresas que vencerem a próxima década do SaaS irão combinar IA específica ao domínio com um contexto proprietário e direcionado ao setor; algo que os modelos de base não conseguem replicar”, disse Bill Diaz, Diretor Executivo da Archer. “Este é a vantagem competitiva, e ela se potencializa com o tempo. Este teste é a comprovação disto.”
A metodologia completa, os dados de origem e o estudo de caso estão disponíveis no site de liderança intelectual da Archer, compliance.ai/evolv_assets/case-01-evolv-vs-raw-llm.html. Para ver o Archer Evolv em ação, acesse www.archerirm.com.
Sobre a Archer
A Archer impulsiona o modo como as principais empresas do mundo administram riscos, conformidade e mudanças regulatórias. Mais de 1.300 organizações utilizam a Archer, incluindo metade das empresas da lista Fortune 500 e 37 dos 50 maiores bancos internacionais. Uma nova mudança regulatória surge em algum lugar do mundo a cada seis minutos, e a IA agêntica supera a capacidade da maioria das equipes para administrá-la. A IA da Archer, desenvolvida especificamente para este fim, tem por base os dados regulatórios mais abrangentes e o profundo conhecimento no âmbito de GRC; assim, cada resultado pode ser rastreado até sua origem e cada decisão pode ser justificada. A Archer oferece soluções para todo o espectro de GRC, incluindo gestão de mudanças regulatórias, gestão de riscos de IA, inteligência regulatória, riscos de terceiros, bem como riscos de TI e segurança. Saiba mais em www.archerirm.com.
O texto no idioma original deste anúncio é a versão oficial autorizada. As traduções são fornecidas apenas como uma facilidade e devem se referir ao texto no idioma original, que é a única versão do texto que tem efeito legal.
Ver a versão original em businesswire.com: https://www.businesswire.com/news/home/20260630313200/pt/
Contato:
Kevin Bobowski
Fonte: BUSINESS WIRE
