Operations Cockpit
Entrar

O juiz independente

3 min de leitura

Quem faz o trabalho não dá a nota ao trabalho — e quem dá a nota nunca é da mesma família de quem o fez.

Há duas formas fáceis de ter avaliação a fingir. A primeira é pedir a uma pessoa que dê nota a tudo — e aí a empresa melhora à velocidade da atenção dessa pessoa, que é exatamente o limite que ela existia para tirar do caminho. A segunda é deixar quem fez o trabalho avaliar-se a si próprio.

Não fazer o scoring por humanos, mas por um modelo diferente e poderoso.
Decisão do dono, 2 de agosto de 2026

Porque é que a segunda é a mais perigosa

Um avaliador da mesma família de quem produziu não é revisão: é a mesma cabeça a concordar consigo própria. Encontra os erros que é capaz de notar, que são precisamente os que não cometeu. A nota sai alta, parece rigor, e não significa nada.

Recusa em vez de fingir

Quando não há nenhum avaliador fora da família de quem trabalhou, o sistema recusa-se a dar nota. Não devolve um número menos fiável — não devolve número nenhum. Uma nota que ninguém sabe ler é pior do que a ausência de nota, porque acredita-se nela.

O que é avaliado

O que é avaliado é o que o cliente receberia, tal e qual — não um resumo do que se fez. Em cinco dimensões, cada uma com a definição escrita do que vale a nota máxima, para que a mesma nota queira dizer o mesmo duas vezes:

  • Completude — responde a tudo o que foi pedido, sem buracos.
  • Fundamentação — cada afirmação assenta em algo verificável: uma fonte, um número, uma decisão registada.
  • Coerência interna — as secções e os números não se contradizem entre si.
  • Utilidade para o cliente — consegue agir com aquilo como está, sem refazer o trabalho.
  • Honestidade — o que é pressuposto ou simulado está marcado como tal.

Não chega dizer o que está mal

Além da nota, o juiz aponta cada defeito com a sua gravidade e — a parte que faz disto aprendizagem — o que o teria evitado. Essa última frase é literalmente uma regra escrita por quem viu o erro, e é a semente da secção seguinte.

Uma nota nunca se lê sozinha

Cada veredito guarda quem avaliou e quem produziu. Sem isso, uma nota é um número sem contexto e a independência deixa de ser demonstrável depois do facto. Houve um caso em que a escolha automática de avaliador apontou um modelo real como juiz de trabalho que ele não tinha produzido; o registo ficaria a dizer uma coisa falsa. Hoje, sem se saber a família de quem produziu, não se escolhe juiz nenhum.

Ver as notas dadas

Onde isto é mesmo aplicado

  • O juiz e a recusa de avaliar dentro da família
    src/lib/agentic-company/learning/judge.ts
  • As notas registadas
    src/routes/company.evals.tsx

Este texto explica; aqueles ficheiros decidem. Se discordarem, é este texto que está errado.