Skip to content

Releases

v3.25.3

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 02 Nov 17:20
cd8f4d6

[3.25.3] - 2026-11-02

Tudo o que mudou no pacote publicado desde a 3.25.2. Os itens "sem versão" do [Unreleased] acima
(jobs off-Worker, tier de contrato) não entram no pacote e seguem lá. Superfície inalterada (nomes,
descrições, enums e esquemas iguais; surface.lock.json não mudou).

Fixed

  • Três rotas da API administrativa renomeadas pelo Senado (entre 27/10 e 02/11/2026; as antigas
    passaram a dar 404 "rota inexistente" e as consultas quebraram no ar; PR #168). senado_senadores_admin:
    tipo: 'auxilio-moradia' lê /senadores/auxilio-moradia-imoveis-funcionais (era
    /senadores/auxilio-moradia) e tipo: 'escritorios-apoio' lê /senadores/escritorios-apoio (era
    /senadores/escritorios); senado_pessoal_tabelas: tabela: 'estagiarios' lê
    /colaboradores/estagiarios (era /servidores/estagiarios; as outras listas nominais seguem em
    /servidores/). Achado pelo contrato noturno de 02/11 (run 41478280273, rotulado "Falha alheia à
    origem" porque o 404 de rota inexistente é lido como caminho mal montado). Medido antes de trocar: a
    documentação da API (/v3/api-docs, 103 rotas) lista os nomes novos; as respostas novas têm a MESMA
    forma das fixtures de 27/10 (comparação recursiva das chaves), com 85, 81 e 486 registros; varredura de
    todas as rotas da API administrativa usadas em src/ contra a documentação: só estas três faltavam.
    Manifesto do contrato, as três fixtures, a proveniência e o mapeamento de rotas do README/LEIA-ME
    atualizados. No ar desde o deploy de 02/11 (provado pela rota de uso próprio; contrato
    41480386000 verde); esta versão leva o conserto ao canal npm/stdio.

Changed

  • Snapshot da árvore organizacional de 01/11/2026 (src/data/estrutura-organizacional.ts, gerado
    por ingest:estrutura; lido por senado_estrutura_organizacional e pelo filtro subordinadasA de
    senado_servidores): 821 → 820 unidades. Saem o Gabinete do Senador Rodrigo Pacheco (GSRPACHE) e o
    Escritório de Apoio Nº 01 dele; entra o Gabinete da Senadora Leany Lemos (GSLLEMOS).
  • Dependências (PR #166): @modelcontextprotocol/server 2.3.1 → 2.4.0 no lock (a única de execução
    do pacote; a faixa ^2.0.0 não mudou); no Worker e no desenvolvimento, agents 0.30 → 0.32,
    @modelcontextprotocol/client 2.4.0, @sbissoli/mcp-live-source 0.5.0, wrangler 4.156.0 e
    @cloudflare/workers-types. Override minimatch ^11.0.1 sob exceljs (PR #164; só o pipeline do
    dataset, GHSA-g3hv-75wg-m249).
  • Deploy do Worker serializado (PR #167): grupo de concorrência fixo deploy-production, depois
    que dois merges seguidos num servidor irmão deixaram código velho no ar (o deploy mais antigo
    terminou por último).

v3.25.2

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 31 Oct 12:06
277cb98

Inclui 3.25.0 e 3.25.1, numeradas e nunca publicadas no npm (a última publicada é a 3.24.0).

[3.25.2] - 2026-10-30

Fixed

  • senado_reunioes_comissao: dia cheio da agenda estourava o guarda de 5 MB. Provado no ar
    após a 3.25.1: CCJ em 02/02–03/03/2026 voltou com 0 reuniões e 2 dias em diasNaoLidos
    (05/02 e 26/02), ambos "Resposta upstream excede o limite de 5 MB" — 7,7 MB e 6,8 MB. A entrada
    da 3.25.0 dizia "0,2–1,2 MB por dia": era uma amostra de 8 dias, e não vale para o dia cheio. A
    leitura de UM dia da agenda (/comissao/agenda/{data}, também em senado_agenda_comissoes) passa
    a usar o teto dos datasets grandes (20 MB): um dia é a menor unidade que a fonte serve e não se
    divide mais. Sem mudança de superfície.

[3.25.1] - 2026-10-30

Fixed

  • senado_reunioes_comissao perdia dias no ar para o NOSSO limitador. Provado no ar logo
    após o deploy da 3.25.0: numa janela fria de 30 dias, 14 a 16 dias voltavam em diasNaoLidos. A
    causa, reproduzida localmente pelo mesmo caminho: as 4 leituras em paralelo esvaziam a rajada de 12
    do balde global em menos de 1 s, e o balde recusa na hora ("Taxa de requisições excedida") — 12 de
    30 dias, nenhum deles falha da fonte. A recusa do limitador do próprio servidor passa a ter tipo
    (LimiteLocalError, subclasse de UpstreamError com a mesma mensagem, status e classe), e a
    leitura em fatias (lerFatias, usada também por discursos, plenário e votações) espera a vez e
    tenta de novo (250 ms × tentativa, até 8) só nesse caso; falha da fonte continua saindo nomeada.
    Reproduzido de novo: 30 de 30 dias lidos, em ~3 s. Sem mudança de superfície.

[3.25.0] - 2026-10-30

Janelas de período: o que o selo diz e o que a fonte entrega. Medido no ar em 30/10/2026, nas dez
tools que montam o data_vintage a partir de dataInicio/dataFim; sete decisões do dono, uma
por vez. Utilitário comum novo: src/utils/janela.ts.

Fixed

  • senado_reunioes_comissao subcontava em silêncio. A fonte documenta "Máximo de 30 dias" para
    /comissao/agenda/{di}/{df} e, acima disso, entrega só ~30 dias A PARTIR DO INÍCIO, com HTTP 200 e
    metadados sem aviso (01/08→até 01/09; 02/08→até 02/09; início em 01/01 = vazio até abril, porque
    janeiro é recesso). A CCJ saía com 0 reuniões em jan–jun e só a de 01/07 em jul–out. Agora a janela
    vai até 30 dias (acima disso, erro de contrato que diz o limite e manda dividir) e a agenda é lida
    UM DIA POR VEZ, em /comissao/agenda/{data} (0,2–1,2 MB por dia, sob o guarda de 5 MB; a mesma
    entrada de cache de senado_agenda_comissoes). Um dia que a fonte não entregar sai em
    diasNaoLidos, com aviso. Reuniões depois de hoje saem à parte, em agendaPrevista (count,
    reunioes, aviso): são previsão — em set/2026, 9 de 37 reuniões marcadas não ocorreram como
    previsto. A mesma reunião listada em dois dias conta uma vez. O filtro pela comissão criadora
    (colegiadoCriador.sigla) não mudou: estava certo.
  • senado_discursos_senador perdia discursos em silêncio acima de 1 ano. A fonte guarda só os
    últimos 12 meses, contados do fim (2024–2026 voltava a partir de 11/11/2025; o senador 5672 tem 19
    discursos em 2024). Agora o período é lido um ano do calendário por vez e juntado; um ano que falhar
    sai em periodosNaoLidos, com aviso. O conselho da descrição ("desde o início do mandato") passa
    a valer.
  • senado_discursos_senador com tipo=apartes ignorava o período. A fonte devolve o histórico
    inteiro qualquer que seja a janela (um aparte de 2021 numa consulta de 2024–2026, com o selo dizendo
    2024–2026). Com período, a tool agora mantém só os apartes dentro dele; sem período, segue trazendo
    o histórico inteiro.
  • Janela invertida (fim antes do início) passava calada. Em 9 das 10 tools voltava lista vazia,
    com o selo repetindo a janela invertida; em senado_discursos_plenario, um 400 genérico da fonte.
    Agora é recusada antes de ir à fonte, com erro de contrato que mostra as duas datas, em
    senado_reunioes_comissao, senado_discursos_senador, senado_discursos_plenario,
    senado_buscar_materias, senado_search_processos, senado_processo_detalhe,
    senado_votacoes_senador, senado_votacao_comissao, senado_search_votacoes,
    senado_orientacao_bancada e na agenda do Congresso (senado_agenda_plenario, escopo=cn).
  • Limites da fonte que viravam erro genérico. senado_discursos_plenario (a fonte recusa mais de
    1 mês: fim ≤ início + 1 mês) passa a ler um mês do calendário por vez; senado_search_votacoes e
    senado_votacoes_senador (/votacao recusa mais de 1 ano), um ano por vez — fatia que falhar sai em
    periodosNaoLidos. Emendas (senado_processo_detalhe, secao=emendas) acima de 1 ano são
    recusadas antes da fonte, com o limite e como dividir: um ano de emendas já pesa ~5 MB.
  • senado_resultado_plenario e senado_agenda_plenario com escopo=mes carimbavam um dia para
    uma leitura do mês inteiro; agora o selo é o mês (AAAA-MM).

Changed

  • Selo de período (data_vintage) em ISO e cortado em hoje. Formato único AAAA-MM-DD/AAAA-MM-DD
    (reuniões de comissão, discursos e orientação de bancada saíam AAAAMMDD/AAAAMMDD; datas únicas
    também em ISO). Nas tools de coisas já acontecidas, um fim no futuro não entra mais no selo: ele
    para em hoje e diz o pedido — 2026-09-01/2026-10-30 (pedido até 2027-12-31); a consulta à fonte
    não muda. A agenda do plenário, que é por natureza futura, não é cortada.
  • Aviso de lista cortada pelo limite diz o que foi entregue (senado_buscar_materias,
    senado_search_processos, senado_processo_detalhe). O selo continua a janela consultada (é dela
    o total); o aviso diz o período entregue — "os mais recentes, de 23/04/2026 a 29/10/2026" —
    SÓ quando a lista inteira está em ordem de data (medido na lista, não presumido da fonte), e marca o
    dia de fronteira cortado no meio. Fora de ordem, diz que as entregues não cobrem um trecho contínuo.
  • Superfície: descrições de senado_reunioes_comissao (limite de 30 dias, leitura dia a dia,
    agendaPrevista, diasNaoLidos) e senado_discursos_senador (periodosNaoLidos, apartes com
    período), e a descrição do parâmetro dataFim de senado_reunioes_comissao; é toda a diferença do
    dump stdio contra a 3.24.0.

v3.24.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 31 Oct 01:12
7f62226

Fixed

  • senado_listar_senadores: o filtro emExercicio passa a filtrar. Antes, emExercicio: false devolvia os mesmos 81 senadores em exercício. "Em exercício" é a situação de HOJE. Sem legislatura, true (padrão) lê a lista atual e false lê /senador/afastados, a mesma lista de senado_senadores_afastados (medido 30/10/2026: 81 e 44, sem ninguém nas duas). Com legislatura, omitido traz a legislatura inteira, e true/false filtra cruzando-a com a lista atual.
  • O campo emExercicio de cada senador deixa de sair true para todos. Ele lia chaves que a fonte não manda no topo do registro; com legislatura: 57, os 163 suplentes saíam como em exercício. Agora vem da lista oficial lida ou, com legislatura, do cruzamento com a lista atual, registrado na proveniência como sub-fonte, com o bloco marcado como derivado.

Superfície (minor): o parâmetro emExercicio perde o default do esquema, e as descrições da ferramenta e do parâmetro mudam. Nenhuma outra diferença no dump contra a 3.23.0.

PR #160.

v3.23.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 28 Oct 01:44
bfb00f8

MINOR porque a superfície publicada muda: o outputSchema comum das 69 tools ganha duas descrições
(surface.lock.json, server.json e lhm.plugin.json regravados). Nenhum campo, tipo ou valor muda.

Fixed

  • As duas propriedades de topo do envelope de saída passam a ter description. O mcpscore 1.29
    acrescentou a regra tools_output_properties_documented (LOW, 1 ponto): toda propriedade de topo do
    outputSchema precisa de descrição não vazia. O envelope comum não descrevia provenance nem
    attribution, e como as 69 tools anunciam o mesmo schema a regra contou 138 propriedades sem
    descrição; produção caiu para 206/207. Agora provenance descreve o bloco concise do contrato
    (chaves, retrieval como diagnóstico da ida à origem ou null, lista de blocos no search) e
    attribution diz o que ela é: a lista das source_url distintas dos blocos, para linkar a citação
    — não um texto de crédito. Descritas uma vez só, no envelope de src/server.ts; o bloco continua o
    schema importado do @sbissoli/mcp-provenance, sem transcrição. tests/output-contract.test.ts
    passa a exigir descrição em toda propriedade de topo. Medido no stdio: a regra passa e nenhuma outra
    reprova.

v3.22.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 27 Oct 16:41
092a863

Primeira publicação desde a 3.21.1: leva também a 3.21.2 (abaixo), numerada e nunca publicada.
Esta mudança saiu numerada como 3.21.3 no PR #153 e foi para o ar no Worker com esse número, mas a
regra deste arquivo é MINOR quando a superfície publicada muda, e uma descrição de tool é superfície;
a 3.21.3 nunca foi publicada no npm nem no registro, e o número certo é este.

Changed

  • senado_ceaps avisa que a fonte publica valores negativos. A descrição não dizia, e a
    estatística sem agrupamento devolvia −2.991,74 como mínimo e no bottom, que um assistente leria
    como erro ou como "a menor despesa". Agora a descrição diz que existem lançamentos negativos sem
    rótulo próprio na fonte (a maioria em passagens aéreas, com jeito de crédito ou estorno — a fonte
    não os nomeia), que eles entram nas somas e totais como desconto e onde aparecem nas estatísticas.
    Medido no ano de 2025: 90 de 23.826 linhas. Só texto: nenhum cálculo mudou. Superfície: muda a
    descrição de uma tool; surface.lock.json e server.json regravados.

[3.21.2] - 2026-10-22

Fixed

  • Fonte fora do ar não é deriva (contrato noturno). Em 22/10/2026 o job contract-tests ficou
    vermelho três vezes porque UM endpoint (vídeos da taquigrafia) respondeu 502 nas três tentativas,
    com os outros 63 capturados; o painel do portfólio abriu "a fonte mudou". A causa: o classificador
    local lia o erro TRADUZIDO, cujo transport é falso num 5xx, então o 502 contava como "chegou
    resposta" (falha genérica, exit 1) e ainda ZERAVA o disjuntor — uma noite de 502 em tudo
    caminhava o manifesto inteiro até o teto de 30 min. Agora o UpstreamError local carrega o erro do
    pacote em cause (corpo vazio e JSON inválido ganham uma causa malformed_body sintética), e o
    script relata pelo repórter do portfólio, @sbissoli/mcp-live-source 0.1.0 (extraído deste
    outage.ts, que sai): veredito pelo kind da origem, disjuntor em que 5xx/429 contam,
    retentativa que não repete dependência nem 404, e a política decidida pelo dono — só fonte fora
    (com ≥ 1 captura) = verde com ::warning title=Fonte indisponível::<specs> e resumo
    "deriva NÃO medida em N"; nada respondeu = exit 3; 404/4xx, corpo inesperado persistente ou
    defeito nosso = exit 1 rotulado. O YAML deixa de escrever o resumo (o script escreve, pelo
    $GITHUB_STEP_SUMMARY); o retry automático segue só em failure. mcp-upstream ^0.5.1
    (entregaDaOrigem segue cause). Teste tests/scripts/contract-refresh.test.ts reescrito sobre
    a costura que este repositório possui (todo kind traduzido lê o veredito certo; o caso de 22/10
    sai 0 com o aviso nomeando a spec; nada respondeu sai 3 na 5ª). Provado em rodada local
    (tsx com o build do pacote): 1 de 3 capturadas, duas em timeout, saída 0, aviso e resumo
    escritos. Superfície intacta (surface.lock.json não muda). Política documentada em
    docs/contract-tests.pt-BR.md.

  • Consultas encerradas também recebem a autoria (só o job diário; sem versão). A listagem do
    portal só traz consultas em tramitação, e o detalhe era buscado só para as consultas da listagem:
    uma consulta que encerrava antes de ser lida (fila acima do teto por execução, leitura que falhou,
    um conserto futuro de leitor) nunca mais era lida. Medido em 18/10/2026 depois do primeiro run da
    3.21.1: 390 das 455 encerradas sem autoria, e a página publica o autor (12 de 12 amostradas). As
    guardadas fora da listagem sem autoria agora entram na mesma fila, depois das abertas e dentro do
    teto, pela etapa que já tratava as encerradas (selectNaoListadasSemDetalhe + buildRestatusRecords
    com os detalhes: um registro só quando a situação e a autoria mudam juntas; leitura vazia não apaga
    nem gera versão).

Changed

  • Job das consultas grava o detalhe em lotes e diz onde está (só o job; sem versão). Até aqui o job
    acumulava as leituras de detalhe em memória e só gravava no fim: uma falha no meio (portal fora, teto
    de tempo, erro inesperado) perdia tudo, e o run de 18/10/2026 (3.000 detalhes, 2 h 23) passou inteiro
    sem uma linha de andamento. Agora, a cada 250 detalhes, o lote vai para o D1 pelo apply-d1.sh
    (mesmas retentativas) e o log mostra uma linha [consultas][andamento] com quantas foram lidas e
    gravadas, o ritmo medido e o término previsto em UTC e em Brasília (visível ao vivo na página do
    job). O run seguinte relê o D1 e não busca de novo o que já gravou. Para nenhum lote gravar antes
    das travas, o piso catastrófico passou para antes do detalhe (só depende do tamanho da listagem). Os
    lotes e a gravação final montam o registro pela mesma função (registroConsultaListada), então o que
    um lote gravou não vira segunda versão no histórico; a troca de situação das encerradas é decidida
    antes, para sair no mesmo registro. O run row continua sendo só o da gravação final. Provado em
    18/10/2026 com o job real em tamanho mínimo (6 detalhes, lotes de 3): 2 lotes aplicados, 6 autorias
    no D1, gravação final sem repetir as 6.

v3.21.1

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 18 Oct 19:49
3f0d68a

Autoria das consultas presa e relator que a fonte não publica. Medido em 18/10/2026 no corpus das
consultas: 4.780 das 8.145 consultas estavam sem autoria, embora a página de detalhe a publique
(42 de 42 páginas reais amostradas, de anos e situações diferentes); e relator estava vazio em
100%: 0 de 8.145 consultas e 0 de 40.548 versões do histórico. Na mesma amostra a página publica
só "Autoria" e "Ementa"; o rótulo de relatoria não existe. PATCH: nenhum campo muda de tipo ou de
nulidade.

Fixed

  • Autoria das consultas volta a ser lida: o job diário decidia que uma consulta "já foi
    enriquecida" pela presença da CHAVE autoria no payload, mas o builder canônico sempre grava a
    chave, mesmo null. As consultas que ficaram fora do teto do primeiro backfill (3.000 por
    execução), e as que nasceram pelo splice de 2 h, entraram com "autoria":null e nunca mais foram
    relidas (o log contava "pendentes no total: 9"). O critério agora é o VALOR (consultaPrecisaDetalhe):
    sem autoria, a consulta volta à fila, respeitando o teto por execução; uma falha de leitura também
    fica pendente para o dia seguinte. A autoria lida segue imutável.

Changed

  • senado_ecidadania_obter_consulta: a descrição diz que relator vem null porque a página da
    consulta não publica relatoria, e aponta senado_obter_materia (mesmo número) para o relator da
    matéria, que vem da API legislativa. O campo continua no formato.
  • Dicionário do dataset: relator documentado como sempre null pela fonte (não significa matéria
    sem relator); autoria ganha a ressalva das linhas que ficaram vazias até a 3.21.0.
  • O teste do leitor da página de consulta passa a conferir os valores da página real (autoria lida,
    relator null), e não só a existência das chaves; o HTML sintético com "Relatora:" fica marcado
    como tal.

v3.21.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 18 Oct 19:15
d77d617

O corpus das ideias passa a guardar em que projetos a ideia foi transformada. Até aqui o projeto (PL, PEC, Indicação…) só aparecia na consulta ao vivo de uma ideia; o banco que alimenta senado_ecidadania_listar_ideias e o dataset guardava só plConvertido, que, apesar do nome, traz desde a 3.20.0 a Sugestão gerada na CDH ("SUG 12/2017").

Added

  • proposicoes: a lista das proposições da linha do tempo, na ordem dela, no formato da consulta ao vivo (tipo, número, ano, quem transformou, parlamentar e UF, data, link). Uma ideia pode ter várias. Ausente até o backfill diário de detalhe ler a ideia; [] = lida, sem proposição.
  • Lista vazia lida nunca apaga uma lista guardada com itens; o vigia por campo confere proposicoes.
  • Texto oficial das proposições passa pela sanitização silenciosa.

Changed

  • Dicionário e descrição de senado_ecidadania_listar_ideias: plConvertido é a Sugestão, não o projeto.

MINOR: campo novo, aditivo. PR #140.

v3.20.1

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 18 Oct 17:00
1af50b2

O autor de ideia que mora fora do país deixa de sair sem localidade. A página da ideia escreve "Ideia proposta por NOME (Exterior)", mas o leitor só aceitava uma sigla de duas letras: o "(Exterior)" ficava fora e o nome o engolia. Na tool aparecia colado ao nome; no corpus, a localidade sumia (autorUf = null).

Fixed

  • autorUf guarda a localidade como o portal a publica: uma das 27 siglas ou "Exterior" (os únicos valores medidos em 18/10/2026 nas 2.968 ideias gravadas sem UF); parêntese vazio continua null. Qualquer outro valor torna a página "fora do molde" (nada gravado, contado pelo vigia).
  • O nome do autor em senado_ecidadania_obter_ideia sai limpo, sem o "(Exterior)" colado.
  • Dicionário do dataset e descrição de senado_ecidadania_listar_ideias dizem que o campo nem sempre é uma UF.

PATCH: o campo mantém tipo e nulidade; só a descrição de senado_ecidadania_listar_ideias mudou (surface.lock.json regravado). PR #139.

v3.20.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 18 Oct 02:35
bc73905

O detalhe das ideias legislativas volta a ser lido. Em 12/10/2026 o portal redesenhou a página da
ideia: a seção "Situação da Ideia" virou uma "Linha do Tempo" de acontecimentos datados. Desde
então, senado_ecidadania_obter_ideia devolvia sempre status: "aberta" e uma data qualquer da
página, e a coleta diária não reconhecia a situação de nenhuma ideia que saía das listas vivas.
Esta versão junta a recuperação inteira: a listagem volta a ser lida (#131), a leitura vazia deixa
de apagar valor guardado (#133), os valores apagados são restaurados do histórico (#134), e o leitor
novo da página (#132) passa a servir a tool, a coleta das transições e o crawler de detalhe (A4).
MINOR porque é aditiva: os campos que já existiam mantêm tipo e não-nulidade, e só as descrições de
senado_ecidadania_listar_ideias e senado_ecidadania_obter_ideia mudaram (surface.lock.json
regravado). Dump da superfície (stdio da 3.20.0 contra a produção na 3.19.0): só essas duas
descrições diferem; as outras 67 tools, os 4 prompts e os 5 resources são idênticos.

Changed

  • senado_ecidadania_obter_ideia lê a página redesenhada (lerIdeiaDetalhe). Campos que já
    existiam: status agora é a categoria do portal guardada no corpus (o bucket da listagem em que
    a ideia aparece) e, para ideia fora do corpus, é classificado pela linha do tempo, caso em que a
    proveniência sai derived com nota própria (NOTA_DERIVACAO_STATUS_IDEIA) e o campo novo
    origemStatus diz de onde veio; dataPublicacao volta a ser a data limite (era a primeira data
    qualquer da página); autor é "NOME (UF)", como o portal publica; dataEncerramento, sempre
    null até aqui, traz o fim do período de apoio quando encerrado; plConvertido é a Sugestão
    gerada ("SUG n/ano"). descricao, apoios e status continuam não nulos ("", 0 com aviso, e
    a classificação pela linha do tempo, respectivamente). A situação no corpus é lida a cada chamada
    e entra como sub-fonte da proveniência. A chave de cache passa a ecidadania_ideia_v2.
  • Transições das ideias pelo leitor novo (scripts/ingest-ecidadania/index-ideias.ts). A ideia
    aberta que sai das listas vivas tem a página lida pelo leitor novo; o status é a categoria da
    listagem quando a ideia aparece na fatia da situação 7 da mesma rodada e, só na falta dela, o
    derivado da linha do tempo (statusDaTransicao: o derivado nunca sobrescreve uma categoria
    publicada). O log conta as duas origens (status da listagem: n; status da linha do tempo: n).
    Página fora do molde conta como não reconhecida, entra no vigia como leitura vazia e não grava.
  • Crawler de detalhe das ideias pelo leitor novo (index-ideias-detalhe.ts; o workflow segue
    desligado). Com isso o leitor antigo (parseIdeiaDetalheCorpus, extractSituacaoIdeia,
    statusFromSituacaoIdeia, o obterIdeiaInternal por regex) sai do código.
  • Descrição de senado_ecidadania_listar_ideias diz quais situações do portal caem em cada
    status (aberta = "Aberta", "Na comissão", "Aguardando envio à CDH"; encerrada = "Encerrada –
    sem apoio suficiente", "Não acatada"; convertida = "Transformada em proposição") e aponta
    dataProposta em obter_ideia como a data real de proposição. O avisoDatas da lista diz o mesmo.

Added

  • Campos novos em senado_ecidadania_obter_ideia, todos copiados da linha do tempo:
    autorNome, autorUf, dataProposta (a data em que a ideia foi proposta, publicada pela fonte;
    dataCriacaoEstimada fica por compatibilidade), prazoApoios, dataMeta, meta, sugestao,
    decisaoCdh, encerramento, oficina, proposicoes (cada proposição em que a ideia virou, pela
    CDH ou adotada por senador(a) ou deputado(a)), linhaDoTempo e avisos. O texto de cidadão
    (autorNome, o texto de cada acontecimento e os avisos) é demarcado como os demais.
  • Leitor da página de detalhe redesenhada das ideias (src/scraper/ideia-detalhe.ts,
    lerIdeiaDetalhe). Em 12/10/2026 a página visualizacaoideia trocou a seção "Situação da
    Ideia" por uma "Linha do Tempo" de acontecimentos datados. O leitor novo classifica cada item
    num vocabulário FECHADO de dez tipos, medido em 340 ideias de 2013 a 2026 (proposta, prazo,
    oficina legislativa, meta de 20 mil, período encerrado, Sugestão, decisão da CDH com e sem
    proposição, adoção por senador(a) ou deputado(a), transformação sem autor). Dele saem as etapas
    datadas, as proposições (quem transformou, parlamentar e UF, sigla, nome, número, ano,
    complemento, link), a oficina e o nome e a UF do autor como o portal publica. Um item fora do
    vocabulário é copiado verbatim com aviso. Deriva parcial (item reconhecido sem os seus campos)
    ou segunda Sugestão ou decisão da CDH lança IdeiaDetalheForaDoMoldeError, em vez de gravar um
    campo adivinhado. Ligado nesta versão à tool, às transições e ao crawler de detalhe (A4, acima). Testes sobre 20 capturas reais, uma
    por caminho, mais a página de ideia removida.
  • statusDaLinhaDoTempo (src/scraper/ideia-detalhe.ts): classificação da situação pela linha
    do tempo, medida sobre 336 ideias com categoria conhecida; acerta 335. A divergência é
    irredutível: 103929 e 136304 têm a mesma linha do tempo, e o portal as classificou de forma
    diferente. Por isso a categoria da listagem sempre prevalece.

Fixed

  • UFs e datas das ideias apagadas desde 12/10 restauradas do histórico (#134, script único
    restaurar-ideias-a3.ts, aplicado em 18/10/2026 no D1 de produção): autorUf vazio de 24.242
    para 2.977 e dataPublicacao vazia de 23.189 para 1.654; o que sobra vazio nunca teve valor no
    histórico.

  • Ingestão das ideias do e-Cidadania parada de 12 a 17/10/2026. Em 12/10 o portal trocou a
    marcação da listagem pesquisaideia (<article class="resumo-ideia"> → <li>, título em
    <h4>, apoios em span.contabilizacao "N apoios confirmados"); o parser achava 0 itens em
    páginas de tamanho normal e o gate do crawl vivo, corretamente, recusou gravar — seis runs
    diários falharam e o cursor da situação 7 ficou parado. O parser agora divide os blocos pela
    classe, não pela tag, e lê as duas formas (fixture real de cada uma). Deriva PARCIAL também
    passa a falhar alto: um bloco com id mas sem título ou sem contagem lança erro (→ retry →
    falha de página → gate), em vez de gravar título vazio e 0 apoios. src/dataset/schema.ts
    e o dicionário do dataset descrevem a origem nova dos campos titulo e apoios.

  • Leitura vazia nunca mais apaga valor guardado no corpus do e-Cidadania. O crawler de detalhe
    das ideias gravava detail ? detail.x : prev.x: uma página lida com sucesso mas com o campo
    vazio substituía o valor guardado. Com a página redesenhada de 12/10/2026, isso apagou 21.265
    UFs e 21.535 datas em cinco dias, com o workflow verde (medido no ecidadania_history: de 01/09 a
    12/10 nenhum campo preenchido virou null; de 13/10 em diante, 98–99% por rodada). Agora todos os
    escritores do corpus passam cada campo por uma regra só, mesclarCampo (src/scraper/mesclar.ts):
    leitura vazia mantém o valor guardado, e apagar exige pedido explícito com motivo. Os escritores
    cobertos: crawler de detalhe e crawl do corpus das ideias (listagem, transições, fatia do arquivo),
    splice de 2 h das três entidades, ingestão de consultas e enriquecimento de eventos. Esse último
    também apagava os seis campos de detalhe quando o fetch falhava, e trocava a contagem canônica de
    comentários pela da listagem, que é a degradada. Contagem ausente deixou de virar 0: um destaque
    REST sem apoiamentos ou sem placar, ou um bloco da listagem de consultas sem o gráfico de votos,
    agora dá null (lerBrNum), e o valor guardado fica.

  • Vigia de taxa de leitura por campo em cada rodada. A mesclagem impede o apagão, mas também
    esconderia a deriva, porque o valor velho fica no lugar. Por isso cada job agora mede, por campo,
    quantos dos valores que o corpus já tinha a leitura desta rodada ainda trouxe. Se essa taxa fica
    abaixo de 90% com pelo menos 50 valores guardados, o job reprova a rodada (anomalo, nada gravado;
    no detalhe, o cursor também não avança). O limiar vem da medição: retenção de 100% no regime são
    das ideias, de 1% a 2% na quebra de 12/10 e de 96% ou mais nos eventos ao longo de todo o
    histórico. Nas transições das ideias, a reprovação descarta só a fase, porque as fases 2 e 3
    nunca bloqueiam o crawl vivo; até o leitor novo ser ligado (nesta versão), ela disparava ali todo dia, no log. O
    vigia não cobre o splice de 2 h, que lê uns 5 itens e fica abaixo do mínimo de 50.

v3.19.0

Choose a tag to compare

@SidneyBissoli SidneyBissoli released this 15 Oct 23:31
500b4c6

A marca de cálculo do contrato 1.3 deixa de valer só para os modos estatisticas e passa a
cobrir TODA resposta em que o servidor calcula em vez de copiar. Na 3.18.5, a soma da CEAPS
(valorTotal, e o modo por-senador, que é o padrão), os agregados da execução orçamentária
(o por-ano, também padrão), o bruto das remunerações e os percentuais do e-Cidadania saíam
com cara de número da fonte. MINOR porque a descrição de senado_votacao_comissao mudou
(surface.lock.json regravado).

Changed

  • derived + derivation_note na classe inteira, com uma nota em português por TIPO de
    cálculo (o rodapé ganha a linha "Valores calculados pelo servidor…" com ela):

    • somas, contagens e médias por grupo: senado_ceaps fora de estatisticas (todo modo leva
      o valorTotal somado), senado_execucao_orcamentaria nos modos agregados (receitas e
      despesas; detalhe fica sem a marca), senado_remuneracoes_servidores modo=resumo
      (nota das somas + a do bruto), senado_horas_extras fora de estatisticas
      (valorTotal), senado_distribuicao_materias tipo=relatoria (a fonte manda uma linha
      por parlamentar e unidade; autoria é o número da fonte), senado_tabelas_referencia
      partidos e ufs, senado_ecidadania_consultas_votos (totais nacionais somados das
      linhas por UF do CSV);
    • o bruto das remunerações (modo=detalhe), soma das sete verbas;
    • senado_servidores com subordinadasA: atribuição de cada lotação ao organograma e a
      contagem, um piso;
    • placar contado dos votos nominais, só quando a fonte não publica o total: votação aberta
      no plenário (senado_obter_votacao, senado_votos_materia, senado_search_votacoes; a
      marca sai quando algum item da resposta foi contado) e votação de comissão sem totais;
    • e-Cidadania: percentuais (e o total, quando a fonte não o traz) em
      senado_ecidadania_listar_consultas e senado_ecidadania_obter_consulta; consenso,
      polarização e ordem por participação em senado_ecidadania_consultas_analise e
      senado_ecidadania_sugerir_tema_enquete; a data de criação estimada em
      senado_ecidadania_listar_ideias e senado_ecidadania_obter_ideia;
    • período e datas da legislatura atual (senado_tabelas_referencia), com nota própria
      quando a fonte não informa o número e o servidor assume a 57ª.

    Fica sem a marca o que é número da fonte: listas cruas, o detalhe da execução, placares
    publicados, a contagem de registros devolvidos.

Fixed

  • senado_votacao_comissao passa a copiar o placar que a fonte publica
    (TotalVotosSim/TotalVotosNao/TotalVotosAbstencao) em vez de recontar sempre os votos.
    Medido ao vivo na CCJ em 15/10/2026: as 395 votações trazem os totais, e em 5 a recontagem
    saía diferente (a lista nominal vem repetida em duas, 24/25 contra 12/13 publicados; em três
    há um voto "A" que a fonte não conta como abstenção). A recontagem fica só para a votação
    sem totais, marcada com placarComputado: true e com derived. A descrição da tool, que
    dizia "totais computados dos votos", foi corrigida.