Base para segmentação de diários de associações de municípios

[ogecece]

Descrição

Como descrito em mais detalhes no blogpost "Conheça os desafios de raspagem do Querido Diário", diários de associações de municípios não são atualmente compatíveis com o Querido Diário por conterem conteúdo de diversos municípios no mesmo documento e assim impossibilitar o filtro de conteúdo por município ao realizar buscas textuais no documento processado.

O objetivo aqui é continuar o esforço iniciado no programa "Querido Diário nas Universidades" por um grupo de iniciação científica do Instituto Federal de Alagoas (IFAL) de segmentar o diário da Associação dos Municípios Alagoanos (AMA).

O escopo inicial é adequar o código desenvolvido pelo grupo do IFAL ao pipeline de processamento de dados do QD. Assim, estabeleceremos o padrão que será utilizado como base para integrar outras associações municipais e diários estaduais (que possuem cadernos de publicações municipais) futuramente.

Objetivos

• Familiarização com processamento do exoonero
• Mapeamento do fluxo de dados raspadores -> data-processing
  • Documentar como usar o querido-diario para alimentar bases de dados do querido-diario-data-processing querido-diario-data-processing#42
• Implementação em ambiente de homologação
  • Replicar o segmentador de diários da Associação AMA do exoonero querido-diario-data-processing#40
  • [Prototipo funcional] data-processing e Associação AMA exoonero querido-diario-data-processing#43
• Implementação em produção
  • Integra base para segmentadores e segmentador da AMA querido-diario-data-processing#64

Como contribuir

Este item já foi finalizado mas sua contribuição é bem vinda em qualquer outro item do Roadmap.

Esta atividade foi desenvolvida dentro do escopo da Trilha de Segmentadores do Grupo de Trabalho para Processamento de Dados (vigente no segundo semestre de 2023). O andamento da trilha foi gerenciado pelo quadro, com coordenação de @Jefersonalves e atuação de @Winzen e @alex-custodio.

[robokbr]

Traduzindo para inglês | Translating to english

---

Description

As described in more detail in the blogpost "Learn about the challenges of scraping Querido Diario", municipal association diaries are not currently compatible with Querido Diário because they contain content from different municipalities in the same document and thus make it impossible to filter content by municipality when carrying out textual searches in the processed document.

The objective here is to continue the effort started in the "Querido Diário nas Universidades" program by a scientific initiation group from the Federal Institute of Alagoas (IFAL ) to segment the diary of the Association of Municipalities of Alagoas (AMA).

The initial scope is to adapt the code developed by the IFAL group to the [QD data processing pipeline](https://github.com/okfn-brasil/ darling-diary-data-processing/). In this way, we will establish the standard that will be used as a basis to integrate other municipal associations and state newspapers (which have municipal publications sections) in the future.

Goals

• Familiarization with [exonero] processing (https://github.com/exonero/extrator)
• Scraper data flow mapping -> data-processing
  • Documentar como usar o querido-diario para alimentar bases de dados do querido-diario-data-processing querido-diario-data-processing#42
• Implementation in an approval environment
  • Replicar o segmentador de diários da Associação AMA do exoonero querido-diario-data-processing#40
  • [Prototipo funcional] data-processing e Associação AMA exoonero querido-diario-data-processing#43
• Implementation in production
  • Integra base para segmentadores e segmentador da AMA querido-diario-data-processing#64

How to contribute

This item has already been finalized but your contribution is welcome on any other item on the Roadmap.

This activity was developed within the scope of the Segmenter Track of the Data Processing Working Group (effective in the second half of 2023). The progress of the trail was managed by cadre, coordinated by @Jefersonalves and acting by @Winzen and @alex-custodio.