Quem faz o trabalho não dá a nota ao trabalho — e quem dá a nota nunca é da mesma família de quem o fez.
Há duas formas fáceis de ter avaliação a fingir. A primeira é pedir a uma pessoa que dê nota a tudo — e aí a empresa melhora à velocidade da atenção dessa pessoa, que é exatamente o limite que ela existia para tirar do caminho. A segunda é deixar quem fez o trabalho avaliar-se a si próprio.
Não fazer o scoring por humanos, mas por um modelo diferente e poderoso.
Porque é que a segunda é a mais perigosa
Um avaliador da mesma família de quem produziu não é revisão: é a mesma cabeça a concordar consigo própria. Encontra os erros que é capaz de notar, que são precisamente os que não cometeu. A nota sai alta, parece rigor, e não significa nada.
Quando não há nenhum avaliador fora da família de quem trabalhou, o sistema recusa-se a dar nota. Não devolve um número menos fiável — não devolve número nenhum. Uma nota que ninguém sabe ler é pior do que a ausência de nota, porque acredita-se nela.
O que é avaliado
O que é avaliado é o que o cliente receberia, tal e qual — não um resumo do que se fez. Em cinco dimensões, cada uma com a definição escrita do que vale a nota máxima, para que a mesma nota queira dizer o mesmo duas vezes:
- Completude — responde a tudo o que foi pedido, sem buracos.
- Fundamentação — cada afirmação assenta em algo verificável: uma fonte, um número, uma decisão registada.
- Coerência interna — as secções e os números não se contradizem entre si.
- Utilidade para o cliente — consegue agir com aquilo como está, sem refazer o trabalho.
- Honestidade — o que é pressuposto ou simulado está marcado como tal.
Não chega dizer o que está mal
Além da nota, o juiz aponta cada defeito com a sua gravidade e — a parte que faz disto aprendizagem — o que o teria evitado. Essa última frase é literalmente uma regra escrita por quem viu o erro, e é a semente da secção seguinte.
Uma nota nunca se lê sozinha
Cada veredito guarda quem avaliou e quem produziu. Sem isso, uma nota é um número sem contexto e a independência deixa de ser demonstrável depois do facto. Houve um caso em que a escolha automática de avaliador apontou um modelo real como juiz de trabalho que ele não tinha produzido; o registo ficaria a dizer uma coisa falsa. Hoje, sem se saber a família de quem produziu, não se escolhe juiz nenhum.
Onde isto é mesmo aplicado
- O juiz e a recusa de avaliar dentro da família
src/lib/agentic-company/learning/judge.ts - As notas registadas
src/routes/company.evals.tsx
Este texto explica; aqueles ficheiros decidem. Se discordarem, é este texto que está errado.