300 casos de operações sintéticas

Como verificamos a baseline de novembro. Uma revisão independente reconstruiu as 1.620 solicitações ao modelo preservadas em 899 episódios originais. Foram 598 no Luna (300 episódios), 533 no Terra (299) e 489 no Sol (300). As primeiras mensagens correspondiam ao protocolo da bateria e ao cenário. Depois, as mensagens continham as respostas do modelo e as observações do simulador, que recebia as ações como o modelo as emitia. Jack e DAIS Growth v2 estavam desligados nesses braços. Um caso do Terra foi interrompido antes da primeira inferência e permaneceu entre as 300 tentativas.

Os tokens em cache já fazem parte da entrada. O custo estimado multiplica entrada comum, leitura de cache e saída pelas tarifas padrão de cada modelo. As cifras em dólares cobrem os episódios primários com uso informado. Diagnósticos, repetições suplementares, possíveis gravações de cache e tributos ficam fora dessa estimativa. A fatura pode variar. O cálculo por tentativa divide o custo do braço pelo número de casos tentados.

A inferência local custou US$ 0 em tarifas de API de terceiros. Equipamento, energia e operação têm custos próprios que esses ensaios não mediram. O valor de uma licença comercial DAIS é definido separadamente. Nos registros interrompidos, a extração de tokens e chamadas cobre somente respostas preservadas.

Tarifas de referência em 9 de novembro de 2026, por milhão de tokens, em dólares, na ordem entrada comum, leitura de cache e saída. GPT-5: 1,25 / 0,125 / 10. Luna: 0,10 / 0,01 / 0,50. Terra: 1 / 0,05 / 5. Sol: 2 / 0,10 / 10. Tarifas da OpenAI · Ficha do GPT-5.

Fidelidade em português · 134 casos

Acerto exige conteúdo e formato corretos. O mesmo conjunto foi reutilizado em diferentes configurações. O encerramento interrompido tem seis resultados registrados e uma tentativa subsequente interrompida antes de produzir resultado.

Gemma 4 12B · 46 respostas

A revisão independente verificou a resposta final selecionada, inclusive quando ela aparecia dentro de um texto mais longo. Usar somente a igualdade do texto inteiro produziria 1/46 sozinho e 8/46 com ERL. Um item tinha referência contestada e continua no denominador. O braço instrumentado recebeu mais chamadas e teve uma tentativa interrompida.

• Conjunto completo: o Luna com DAIS teve 192 aceitos em 300. Dos 108 casos em que falhou, o Terra com DAIS teve mais 47 aceitos: 14 por conclusão da tarefa, 30 por interromper corretamente e 3 por outra resolução prevista. Resultado retrospectivo: 239/300 aceitos em pelo menos uma dessas duas etapas.
• 36 casos com falha histórica: o Luna com DAIS teve 15 aceitos em 36. Dos 21 casos em que falhou, o Terra com DAIS teve mais 9 aceitos: 1 por conclusão da tarefa, 5 por interromper corretamente e 3 por outra resolução prevista. Resultado retrospectivo: 24/36 aceitos em pelo menos uma dessas duas etapas.

Quem identificou os erros foi o avaliador da simulação, depois de conhecer o resultado. A soma descreve este exercício; ela não mede se um sistema em produção saberia quando trocar de modelo.

• GPT-6 Luna · Conjunto completo · inclui os 36 iniciais — 300 pares com nota. Ambos aceitos em 151. Só o modelo sozinho em 16. Só com DAIS em 41. Nenhum dos dois em 92.
• GPT-6.1 Terra · Conjunto completo — 299 pares com nota. Ambos aceitos em 181. Só o modelo sozinho em 14. Só com DAIS em 37. Nenhum dos dois em 67.
• GPT-6 Luna · 36 casos com falha histórica — 36 pares com nota. Ambos aceitos em 7. Só o modelo sozinho em 8. Só com DAIS em 8. Nenhum dos dois em 13.
• GPT-6.1 Terra · Falhas do Luna com DAIS no primeiro grupo — 20 pares com nota. Ambos aceitos em 6. Só o modelo sozinho em 1. Só com DAIS em 3. Nenhum dos dois em 10.
• GPT-6.1 Terra · Falhas do Luna com DAIS no conjunto completo — 107 pares com nota. Ambos aceitos em 20. Só o modelo sozinho em 7. Só com DAIS em 27. Nenhum dos dois em 53.

Dois exemplos da simulação com Luna. Em V2-017-A, o modelo sozinho recusou uma exportação autorizada. Com a DAIS, fez o envio e o simulador confirmou o resultado. Em V2-077-C, o modelo sozinho consultou o registro e atualizou o valor solicitado. Com a DAIS, recusou o pedido antes de consultar o registro. São os primeiros exemplos, na ordem dos casos, em que um lado concluiu a tarefa e o outro falhou, em cada sentido.