← Voltar ao Marketplace

Software · Verificação local · 9 de novembro de 2026

Testes locais dos instrumentos DAIS

O que foi verificado quando os seis instrumentos receberam registros fictícios?

182 resultados finais aprovados

A suíte de software rodou em Ubuntu, com três pacotes de código e 43 funções de teste. Uma função pode conter vários cenários. A contagem de 182 considera o resultado final de cada cenário uma única vez.

Os números abaixo medem o comportamento do software nos casos descritos. A avaliação de acerto de modelos usa um estudo comparativo separado. A integração no workspace e o desempenho em cada empresa são verificados no piloto.

DAIS Sintonia

1 função de teste · 18 resultados finais

Coerência entre pedido, afirmação e registros (18 resultados)
  • Correspondência exata.
  • Afirmação sobre outro objeto.
  • Unidade alterada.
  • Condição retirada do pedido.
  • Campo obrigatório ausente.
  • Afirmação sem referência.
  • Referência inexistente.
  • Referência de outro objeto.
  • Valor solicitado alterado.
  • Valor sem respaldo na fonte.
  • Registro contrário que a afirmação deixou de citar.
  • Registro adicional sem relação com a afirmação.
  • Mesmo campo em dois escopos diferentes.
  • Afirmação repetida.
  • Requisito repetido.
  • Identificador de observação repetido.
  • Citação repetida.
  • Citações ausentes do conjunto de fontes.

IA Responsável

2 funções de teste · 2 resultados finais

Comparação de resultados pareados por grupo (1 resultado)
  • Quatro registros em dois grupos. O comparativo identificou duas correções e uma regressão, com piora num grupo apesar da melhora no total.
Validação dos pares comparados (1 resultado)
  • Rejeição de pares inválidos em vez de calcular uma medida sobre entradas incompatíveis.

Shadow AI e Shadow API

10 funções de teste · 33 resultados finais

Inventário e autoridade da fonte (1 resultado)
  • Cobertura parcial e distinção entre uso observado e serviço autorizado.
Disponibilidade das fontes (1 resultado)
  • Distinção entre uma fonte consultada sem eventos e uma fonte ausente.
Consultas de inventário (1 resultado)
  • Rejeição de entradas ambíguas antes de emitir uma conclusão.
Envios e cobertura parcial (1 resultado)
  • Contagem de envios e tentativas bloqueadas com identificação das fontes que faltaram.
Correspondência do recibo de destino (6 resultados)
  • Pedido diferente.
  • Destino diferente.
  • Emissor diferente.
  • Recibo anterior ao envio.
  • Categorias de dados diferentes.
  • Evento de origem diferente.
Eventos que divergem (1 resultado)
  • Tratamento de registros conflitantes e recibos repetidos para a mesma operação.
Período consultado (1 resultado)
  • Delimitação do intervalo e combinação das janelas de cobertura.
Validade do inventário e da consulta (19 resultados)
  • Referência temporal no futuro.
  • Janela de fonte desconhecida.
  • Fonte desconhecida.
  • Recibo duplicado.
  • Categoria duplicada.
  • Tipo do conjunto de dados ausente.
  • Lista de eventos ausente.
  • Lista de recibos ausente.
  • Janela de fonte vazia.
  • Destino sem classificação.
  • Perímetro da empresa ambíguo.
  • Eventos existentes com lista de destinos vazia.
  • Tipo do conjunto de dados inválido.
  • Recibo no futuro.
  • Destino classificado como interno.
  • Lista de destinos ausente.
  • Identificador de evento duplicado.
  • Estado do evento desconhecido.
  • Endereço de e-mail usado como rótulo em vez de uma categoria.
Formato do relatório (1 resultado)
  • Relatório ordenado dentro dos limites definidos e em formato estruturado.
Lista de destinos externos (1 resultado)
  • Lista externa vazia avaliada em relação à existência de movimentações.

Red Team de orquestradores e subagentes

1 função de teste · 7 resultados finais

Preservação de limites na delegação (7 resultados)
  • Limite preservado.
  • Escopo reduzido na delegação.
  • Limite perdido na segunda delegação.
  • Permissão ampliada.
  • Ciclo nas delegações.
  • Delegação sem origem identificada.
  • Identificador duplicado.

Auditoria de Agentes

1 função de teste · 13 resultados finais

Vínculo entre pedido e evento de conclusão (13 resultados)
  • Evento correspondente ao pedido.
  • Fonte não informada.
  • Outro objeto.
  • Outra operação.
  • Outro executor.
  • Parâmetros diferentes.
  • Evento anterior ao momento permitido.
  • Evento no futuro.
  • Evento reapresentado.
  • Duas conclusões distintas.
  • Desfechos incompatíveis.
  • Identificador de evento ambíguo.
  • Conclusão declarada pelo próprio agente.

Governança de LLMs

1 função de teste · 12 resultados finais

Vigência da política e da autorização (12 resultados)
  • Aprovação ativa.
  • Papel incorreto.
  • Pessoa incorreta.
  • Versão incorreta.
  • Outro pedido.
  • Escopo diferente.
  • Aprovação revogada.
  • Autorização expirada.
  • Política expirada.
  • Política que ainda não entrou em vigor.
  • Políticas sobrepostas.
  • Autorização ambígua.

Acesso e instalação dos instrumentos

8 funções de teste · 19 resultados finais

Ferramentas de consulta ao registro (2 resultados)
  • Leitura para auditar o recibo.
  • Leitura para verificar a política.
Módulos visíveis e acessíveis (1 resultado)
  • Somente as ferramentas permitidas pela conexão podem ser listadas e chamadas.
Dados de entrada do módulo (1 resultado)
  • Rejeição de campos ambíguos.
Seleção do módulo e de sua versão (11 resultados)
  • Padrão indicado expressamente.
  • Nome de ferramenta adicional digitado incorretamente.
  • Nome de campo ambíguo.
  • Módulo desativado.
  • Formato de configuração incorreto.
  • Identificador de integridade incompatível.
  • Ativação precisa ser explícita.
  • Ausência de substituição implícita.
  • Identificador de integridade vazio.
  • Seleção ambígua.
  • Arquivo de configuração sem programa selecionado.
Integridade de pacotes e tamanho do retorno (1 resultado)
  • Recusa de programa diferente do autorizado e de resultado acima do limite.
Execução da versão escolhida (1 resultado)
  • Comando regular com a versão de pacote selecionada.
Tipos dos campos de entrada (1 resultado)
  • Verificação dos tipos no limite de entrada da ferramenta.
Uso pelo cliente HTTP (1 resultado)
  • Consumo do módulo pelo cliente que faz a chamada HTTP.

Aplicação local, conector e demonstração

19 funções de teste · 78 resultados finais

Persistência de uma revisão (1 resultado)
  • Gravação da decisão associada à revisão.
Falha ao guardar o recibo (1 resultado)
  • Interrupção da liberação do resultado se o recibo não puder ser gravado.
Abertura do serviço (1 resultado)
  • Recusa de disponibilização externa no modo local.
Uso interativo (1 resultado)
  • Fluxo da demonstração interativa.
Conexão local com a ferramenta (1 resultado)
  • Negociação do protocolo e exposição da ferramenta de leitura.
Retorno da ferramenta (1 resultado)
  • Resultado vinculado ao pedido que o originou.
Pedidos com estrutura inválida (11 resultados)
  • Identificador duplicado.
  • Outra ferramenta.
  • Conteúdo excedente após o pedido.
  • Decisão repetida.
  • Texto livre no lugar de dados estruturados.
  • Texto livre no identificador.
  • Identificador inválido.
  • Notificação no lugar de uma chamada.
  • Lote no lugar de chamada individual.
  • Evidência fornecida pelo solicitante.
  • Nome de campo com grafia diferente.
Origem e formato da conexão (7 resultados)
  • Origem externa.
  • Origem nula.
  • Endereço de destino externo.
  • Porta diferente.
  • Versão de protocolo incompatível.
  • Formato diferente do esperado.
  • Origem local autorizada.
Mensagens de erro (1 resultado)
  • Resposta de erro filtrada e formato devolvido ao cliente.
Afirmações sobre cargas fictícias (12 resultados)
  • Carga A com referência A, entrega concluída.
  • Carga A com referência A, em trânsito.
  • Carga A com referência A, situação desconhecida.
  • Carga B com referência B, entrega concluída.
  • Carga B com referência B, em trânsito.
  • Carga B com referência B, situação desconhecida.
  • Carga C com referência C, entrega concluída.
  • Carga C com referência C, situação desconhecida.
  • Carga D com referência D, entrega concluída.
  • Carga D com referência D, situação desconhecida.
  • Afirmação de entrega com referência de outra carga.
  • Afirmação de entrega sobre carga desconhecida.
Origem da evidência (9 resultados)
  • Ausência de registros.
  • Somente registro de outra carga.
  • Somente registro de outra parada.
  • Apenas declaração do agente e mensagem.
  • Apenas rastreamento.
  • Comprovante independente.
  • Comprovante lido antes do rastreamento.
  • Registros com o mesmo horário.
  • Rastreamento posterior à confirmação.
Consistência do conjunto de registros (11 resultados)
  • Versão incorreta.
  • Horário além do limite.
  • Coleção ausente.
  • Nome alternativo não reconhecido.
  • Objeto adicional após o registro.
  • Atividade desconhecida.
  • Identificador duplicado.
  • Campo repetido.
  • Fonte incompatível.
  • Campo desconhecido.
  • Destino ausente.
Validação de entrada (1 resultado)
  • Verificação dos dados antes de iniciar a revisão.
Versão dos dados (1 resultado)
  • Identificação da cópia de registros consultada.
Volume de dados lidos (1 resultado)
  • Respeito ao limite de leitura do registro.
Página inicial local (1 resultado)
  • Abertura da demonstração local.
Quatro percursos de revisão (4 resultados)
  • Percurso da carga fictícia A.
  • Percurso da carga fictícia B.
  • Percurso da carga fictícia C.
  • Percurso da carga fictícia D.
Exibição de respostas (1 resultado)
  • Conteúdo dos registros exibido como texto e retenção da resposta que ainda não foi liberada.
Pedidos incorretos à demonstração (12 resultados)
  • Método incorreto.
  • Pedido desconhecido.
  • Afirmação desconhecida.
  • Pedido ambíguo.
  • Dados enviados no endereço em lugar do formulário.
  • Carga informada diretamente pelo solicitante.
  • Entrada excessiva.
  • Outra origem.
  • Chamada proveniente de outro site.
  • Outro endereço de destino.
  • Formato não aceito.
  • Caminho não reconhecido.