Prática
Como escrever justificativas de avaliação de IA baseadas em evidências
Um método repetível para transformar um julgamento sobre uma resposta de IA em uma justificativa clara, específica e revisável.
Uma justificativa conecta um julgamento a uma decisão que pode ser revisada. Ela não deve apenas declarar uma preferência. Deve mostrar por que o critério se aplica e onde está a evidência relevante.
Use uma estrutura de quatro partes
Em tarefas de comparação, um primeiro rascunho forte pode seguir esta ordem:
- Julgamento: identifique a resposta mais forte ou o problema principal.
- Critério: nomeie o requisito relevante, como precisão ou cumprimento de instruções.
- Evidência: cite a afirmação, omissão ou escolha estrutural específica.
- Impacto: explique por que isso importa para a pessoa usuária ou para o resultado da tarefa.
Veja a estrutura em um parágrafo:
A resposta A é preferível porque segue o formato de duas etapas solicitado e diferencia informação confirmada de uma premissa. A resposta B chega a uma conclusão plausível, mas apresenta sua estimativa como fato estabelecido. Isso torna B menos confiável para alguém que precisa entender a incerteza.
Evite elogios e críticas vagos
Palavras como melhor, mais clara, fraca e confusa podem resumir uma conclusão, mas não são evidência. Troque-as por detalhes observáveis.
| Afirmação vaga | Revisão baseada em evidência |
|---|---|
| “É mais precisa.” | “Evita afirmar, sem apoio, que a política vale em todos os países.” |
| “Segue o prompt.” | “Entrega a recomendação solicitada e duas razões de apoio.” |
| “O tom é ruim.” | “Descarta a preocupação da pessoa usuária em vez de explicar a limitação.” |
Trate a incerteza de forma explícita
Nem toda falha tem o mesmo peso. Quando duas respostas são aceitáveis, explique o que torna a decisão próxima. Quando uma afirmação precisa de verificação externa, identifique-a como não verificada em vez de chamá-la de falsa sem evidência.
Isso é especialmente importante em trabalhos com IA, pois uma redação confiante pode esconder incertezas. Uma pessoa avaliadora cuidadosa diferencia uma afirmação contrariada pela referência, uma afirmação sem apoio na referência e uma afirmação que exige checagem adicional.
Mantenha a justificativa proporcional
A justificativa deve ter proporção com a decisão. Um problema pequeno de formatação não precisa de um texto longo. Uma contradição factual relevante pode exigir explicação mais clara e referência aos materiais da tarefa. O objetivo não é parecer severo; é permitir que outra pessoa reproduza o julgamento.
Essa disciplina é útil além de tarefas de avaliação. Ela melhora revisões, anotações de pesquisa, garantia de qualidade e decisões profissionais do dia a dia.