Painel do loop

O modelo congelado classifica notícias do gov.br na árvore de 3 níveis. O loop reescreve o harness; o humano escreve a prova.

A prova

• ✓Todos os códigos esperados existem na árvore
• !2 perguntas held-out (abaixo de 30, cada acerto vale mais de 3 pontos e a nota fica ruidosa)
• !BLOQUEIA: são necessários pelo menos 10 casos em cada lado (tarefa e held-out)
• ✓200 caso(s) provisórios ignorados até alguém revisar (comando review)
• !Tema mais frequente no held-out: 06 - Ciência, Tecnologia e Inovação com 50% (o loop vai otimizar sobretudo esse tema)
• !2 dos 25 temas de nível 1 aparecem no held-out
• ✓0 de 2 casos held-out têm rótulo de nível 3; os demais valem só até o nível rotulado
• ✓Nenhuma manchete repetida

Execuções

Harness ativo · v0

Origem: escrito à mão

# Harness v0: escrito à mão a partir do prompt de src/enrichment/classifier_summarizer.py.
# O loop só pode mudar "instrucoes", "regras" e "exemplos".
# "contrato" e "modelo" são travados: edições nessas partes são recusadas.
instrucoes: |
  Você é um assistente especializado em classificar notícias do governo federal com base
  em uma árvore temática hierárquica de três níveis. Analise a notícia e identifique os
  temas de terceiro nível (códigos com três partes, como 16.04.01) que melhor a descrevem.
  O primeiro tema da lista é o tema principal da notícia.
contrato: |
  Responda só com JSON, sem texto fora dele, no formato:
  {"temas": ["XX.YY.ZZ", "XX.YY.ZZ", "XX.YY.ZZ"]}
  - De 1 a 3 códigos, todos de terceiro nível e existentes na árvore.
  - O primeiro código é o tema principal.
regras:
  - Selecione temas complementares e não redundantes.
  - O tema principal deve refletir o assunto central da notícia, não o órgão que a publicou.
exemplos: []
modelo:
  temperatura: 0
versao: 0
origem: escrito à mão