Skip to content
This repository has been archived by the owner. It is now read-only.

fgrehm/covid19br-pub

master
Switch branches/tags
Code

Latest commit

 

Git stats

Files

Permalink
Failed to load latest commit information.
Type
Name
Latest commit message
Commit time
app
 
 
bin
 
 
 
 
db
 
 
 
 
 
 
lib
 
 
log
 
 
 
 
 
 
 
 
tmp
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

covid19br.pub

Projeto de monitoramento de publicações oficiais relacionadas a COVID-19 no Brasil.

Tecnologias utilizadas

  • Ruby on Rails
  • PostgreSQL
  • Huginn

Arquitetura do projeto

Alto nível, mais informações podem ser disponibilizadas caso haja interesse

O processo de scraping (ou raspagem) é feito por uma série de agentes configurados numa instância de um fork do Huginn (a configuração dos agentes pode ser encontrada aqui). Cada fonte monitorada possui um cenário do Huginn composto por diversos agentes que trabalham numa parte do processo de scraping:

hugin-source

Eventualmente as informações são enviadas para um Bucket do S3 que é monitorado por um outro conjunto de agentes. Estes agentes são responsáveis por notificar esta aplicação Rails (esse projeto) sobre novas publicações encontradas:

hugin-notify

Esta aplicação é responsável por processar os dados e determinar se determinada publicação é relevante ou não. Além de servir como porta de entrada para visualização das informações.

Projetos relacionados

Quer ajudar?

Para mais informações sobre como ajudar e próximas etapas basta olhar os projetos ou issues em aberto. Fique a vontade para mandar feedbacks e bug via issues também :)

About

Projeto de monitoramento de publicações oficiais relacionadas a COVID-19 no Brasil.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published