Execução 20261114-151634
Rodadas
Rodada 1 · 45 falhas no lado tarefa · held-out depois: 73.6%
edição mantida
| # | edição | held-out | situação |
|---|
| e1 |
adicionar_regra Não classificar como 24.01.01 - Igualdade de Gênero a menos que a notícia trate de políticas públicas ou iniciativas de gênero explícitas.Evita classificação de eventos científicos com foco em mulheres |
72.6% |
rejeitada |
| e2 |
reescrever_regra #2 O tema principal deve refletir a ação central da notícia, não o órgão ou setor que a publica ou a executa.Evita atribuir tema por setor |
71.5% |
rejeitada |
| e3 |
adicionar_regra Para eventos (mesas, encontros, workshops) prefira códigos de Desenvolvimento Social (15) ou Educação (02) em vez de temas de igualdade de gênero ou segurança pública.Evita classificação errada de eventos |
73.6% |
rejeitada |
| e4 |
adicionar_regra Quando a notícia descreve auditorias ou inspeções de setores industriais, classifique sob Segurança Pública (04) ou Fiscalização de Serviços (03) e não sob Exploração de Petróleo (17) ou Inteligência (19).Corrige classificação de auditorias de segurança operacional |
70.1% |
rejeitada |
| e5 |
adicionar_regra Para portarias ou regulamentos tributários, escolha 01.02.04 - Regulamentação Financeira. Para regulamentos gerais, escolha 21 - Legislação e Regulamentação.Corrige classificação de DCTFWeb e comentários de CPC |
67.7% |
rejeitada |
| e6 |
adicionar_regra Se a notícia trata de sustentabilidade urbana ou urbanismo, prefira 05 - Meio Ambiente e Sustentabilidade em vez de códigos de Sustentabilidade Urbana.Evita classificação de urbanismo |
73.6% |
mantida |
| e7 |
adicionar_regra Ao tratar de relatórios anuais ou iniciativas de governança, prefira 20 - Políticas Públicas e Governança em vez de Competitividade ou Atração de Investimentos.Corrige classificação de anuário Cade |
72.9% |
rejeitada |
| e8 |
adicionar_regra Para eventos artísticos ou culturais (festivais, feiras, concursos) use 08.01.01 - Festivais e Feiras; use 08.03.01 - Apoio a Artistas apenas se a notícia tratar de apoio institucional a artistas individuais.Corrige classificação de Funarte |
71.2% |
rejeitada |
Rodada 2 · 45 falhas no lado tarefa · held-out depois: 75.3%
edição mantida
| # | edição | held-out | situação |
|---|
| e1 |
adicionar_regra Se a notícia tratar de ciência, tecnologia ou inovação e mencionar mulheres, prefira 06 - Ciência, Tecnologia e Inovação ao tema 24.01.01 - Igualdade de Gênero.Prioriza ciência sobre gênero em eventos científicos |
73.6% |
rejeitada |
| e2 |
adicionar_regra Em portarias que tratam de requisitos técnicos de veículos ou transporte, priorize 04 - Segurança Pública em vez de 07.01.01 - Construção de Estradas.Corrige classificação de portarias de transporte |
72.2% |
rejeitada |
| e3 |
adicionar_regra Para eventos que promovem diversidade, equidade ou inclusão no ambiente de trabalho, classifique como 15 - Desenvolvimento Social, não 24.01.01 - Igualdade de Gênero.Ajusta temas de diversidade |
75.0% |
rejeitada |
| e4 |
adicionar_regra Encontros de aposentados, aposentadas ou ex-funcionários do INES devem ser classificados como 02 - Educação, não 15.01.06 - Atenção ao Idoso.Define tema de eventos de aposentados |
73.3% |
porteira: 1 respostas inválidas contra 0 da versão atual |
| e5 |
adicionar_regra Se a notícia abordar desenvolvimento urbano sustentável, prefira 05 - Meio Ambiente e Sustentabilidade em vez de 25.04.02 - Sustentabilidade Urbana.Alinha urbanismo ao meio ambiente |
72.6% |
rejeitada |
| e6 |
adicionar_regra Artigos que comentam o Código de Processo Civil ou legislação judicial devem ser classificados como 21 - Legislação e Regulamentação, não 13.01.03 - Justiça e Lei.Corrige classificação de comentários jurídicos |
73.6% |
rejeitada |
| e7 |
adicionar_regra Debates ou auditorias de segurança operacional no setor de petróleo e gás devem ser classificados como 04 - Segurança Pública, não 17.01.01 - Exploração de Petróleo.Define tema de auditorias de segurança |
75.3% |
mantida |
| e8 |
adicionar_regra Acordos de compartilhamento de dados e informações de radiodifusão entre CGU e MCOM devem ser classificados como 18 - Comunicações e Mídia, não 20.01.01 - Controle Interno.Ajusta classificação de compartilhamento de dados |
72.9% |
rejeitada |
Rodada 3 · 44 falhas no lado tarefa · held-out depois: 76.7%
edição mantida
| # | edição | held-out | situação |
|---|
| e1 |
adicionar_regra Se a notícia mencionar "Mulheres", "Gênero" e também um tema de ciência, tecnologia ou inovação, o tema principal deve ser o tema de ciência, tecnologia ou inovação, não igualdade de gênero.Corrigir classificação de eventos de mulheres em ciência. |
74.7% |
rejeitada |
| e2 |
adicionar_regra Se a notícia tratar de habilitação estrangeira, carteira internacional ou uso de habilitação estrangeira em território nacional, classifique como 07 - Infraestrutura e Transportes.Corrigir classificação de Carteira Internacional. |
76.4% |
rejeitada |
| e3 |
adicionar_regra Se a notícia for sobre portaria, regulamento ou política do Denatran ou de trânsito, classifique como 04 - Segurança Pública.Corrigir classificação de portarias de Denatran. |
69.8% |
rejeitada |
| e4 |
adicionar_regra Se a notícia tratar de diversidade e equidade no ambiente de trabalho, mas não se limitar à igualdade de gênero, classifique como 15 - Desenvolvimento Social.Corrigir classificação de diversidade no ambiente de trabalho. |
74.3% |
rejeitada |
| e5 |
adicionar_regra Se a notícia descreve um evento (ex.: "evento", "encontro", "conferência", "mesa redonda"), prefira o tema principal que reflete o assunto do evento, evitando subtemas de gênero ou igualdade.evita foco em gênero em eventos científicos |
73.6% |
rejeitada |
| e6 |
adicionar_regra Para notícias sobre atos normativos (portaria, resolução, decreto), selecione o tema que corresponde ao órgão ou área administrativa (ex.: 04 para segurança, 07 para transportes), não subtemas de inteligência ou fiscalização.correção de classificação de regulamentos |
76.7% |
mantida |
| e7 |
adicionar_regra Quando a notícia trata de sustentabilidade mas menciona subtemas específicos (ex.: "urbano", "metano", "educação ambiental"), escolha o tema 05 - Meio Ambiente e Sustentabilidade em vez de subtemas de urbanismo ou educação ambiental.evita subtemas de urbanismo e educação ambiental |
75.3% |
rejeitada |
| e8 |
adicionar_regra Se a notícia contém termos como "dados abertos" mas trata de uma consulta ou plano de política, prefira o tema 20 - Políticas Públicas e Governança em vez de 23.03.01 - Dados Abertos.distinguindo dados abertos de política pública |
73.6% |
rejeitada |
Rodada 4 · 42 falhas no lado tarefa · held-out depois: 78.1%
edição mantida
| # | edição | held-out | situação |
|---|
| e1 |
adicionar_regra Se a notícia mencionar "diversidade", "igualdade de gênero" ou "equidade" mas tratar de áreas mais amplas (ex.: ciência, educação, desenvolvimento social), o tema principal deve ser a categoria mais ampla e não o subtema de igualdade de gênero.Evitar classificação excessiva em subtemas de gênero |
78.1% |
mantida |
Relatório
# Execução do loop de harness
- Casos: 108 no lado tarefa, 96 held-out
- Held-out: 70.8% (v0) → 78.1% (v4)
- Tarefa: 60.8% (v0) → 65.4%
- Respostas inválidas no held-out na v0: 0
- Fim: 4 rodadas concluídas
| rodada | falhas | melhor edição | held-out | resultado |
|---|---|---|---|---|
| 1 | 45 | + regra: Se a notícia trata de sustentabilidade urbana ou urbanismo, prefira 0… | 73.6% | mantida |
| 2 | 45 | + regra: Debates ou auditorias de segurança operacional no setor de petróleo e… | 75.3% | mantida |
| 3 | 44 | + regra: Para notícias sobre atos normativos (portaria, resolução, decreto), s… | 76.7% | mantida |
| 4 | 42 | + regra: Se a notícia mencionar "diversidade", "igualdade de gênero" ou "equid… | 78.1% | mantida |
## Próximo passo
Revise `final.yaml`. Se fizer sentido, promova com:
```bash
poetry run python src/run_harness_loop.py promote <esta-pasta>/final.yaml
```
Harness final
instrucoes: 'Você é um assistente especializado em classificar notícias do governo federal com base
em uma árvore temática hierárquica de três níveis. Analise a notícia e identifique os
temas de terceiro nível (códigos com três partes, como 16.04.01) que melhor a descrevem.
O primeiro tema da lista é o tema principal da notícia.
'
contrato: 'Responda só com JSON, sem texto fora dele, no formato:
{"temas": ["XX.YY.ZZ", "XX.YY.ZZ", "XX.YY.ZZ"]}
- De 1 a 3 códigos, todos de terceiro nível e existentes na árvore.
- O primeiro código é o tema principal.
'
regras:
- Selecione temas complementares e não redundantes.
- O tema principal deve refletir o assunto central da notícia, não o órgão que a publicou.
- Se a notícia trata de sustentabilidade urbana ou urbanismo, prefira 05 - Meio Ambiente e Sustentabilidade
em vez de códigos de Sustentabilidade Urbana.
- Debates ou auditorias de segurança operacional no setor de petróleo e gás devem ser classificados como
04 - Segurança Pública, não 17.01.01 - Exploração de Petróleo.
- 'Para notícias sobre atos normativos (portaria, resolução, decreto), selecione o tema que corresponde
ao órgão ou área administrativa (ex.: 04 para segurança, 07 para transportes), não subtemas de inteligência
ou fiscalização.'
- 'Se a notícia mencionar "diversidade", "igualdade de gênero" ou "equidade" mas tratar de áreas mais
amplas (ex.: ciência, educação, desenvolvimento social), o tema principal deve ser a categoria mais
ampla e não o subtema de igualdade de gênero.'
exemplos: []
modelo:
temperatura: 0
versao: 4
origem: 'loop, rodada 4: + regra: Se a notícia mencionar "diversidade", "igualdade de gênero" ou "equid…'