Skip to content

douglasfdev/denoFileHandler

Repository files navigation

Logo DenoLand

Deno FileHandler

É um serviço voltado para a partir de um arquivo CSV com dados massivos popular o banco de dados, foi escolhido o Deno pelo fato de não precisar de node_modules para importar bibliotecas e também pelo fato de rodar nativamente TypeScript sem a necessidade de um bundler.

Foi Utilizado MySQL para utilizarmos um banco de dados relacional. Para trazer mais performance caso queira fazer diversas tabelas para inserção desses dados massivos no banco de dados.

Projeto está dockerizado rodando o LocalStack imagem que abstrai a AWS, para também subirmos esse arquivo num bucket do S3. Projeto também visa solucionar o mesmo problema caso o S3 esteja comprometido, ele fica escutando uma mensagem no SQS da AWS, para também popular uma tabela no banco de dados.

Chamei essa tabela de tb_person, mas ela pode ser facilmente mudada na migration que eu criei juntamente de um model que componha os atributos dessa tabela.

Neste projeto também foi incluido rotinas de Cron Jobs, para ele ficar escutando o banco de dados, sempre que o status do arquivo for zero que é, pendente, ele mandar para um dos serviços da AWS para a aplicação assim popular o banco de dados de acordo com esse status, e somente depois de concluido atualizar para status um que seria disparado.

Projeto feito com muito carinho, obviamente tem muito a melhorar, mas o intuito foi pegar algo que eu desconhecia completamente que era o Deno, juntamente da AWS e completar esse projeto.

Comandos para rodar o projeto

Para rodar o projeto com docker em background: docker-compose up -d.

Para iniciar o projeto localmente na sua maquina recomendo usar o deno task local as variaveis de ambiente estao apontando para http://localhost:5022.

Este comando vai baixar a imagem do MySQL na versão 8, do LocalStack na ultima versão e do Deno na última versão LTS.

Para rodar o cron que fica lançando para o S3 ou para o SQS caso o S3 esteja fora do ar basta rodar no terminal deno task command:local.

Para rodar o projeto em local basta rodar o comando deno task local na máquina.

Rotas Principais:

POST localhost:5001/v1/api/uploadFile/
Parâmetro Tipo Descrição
file multipart/form-data Obrigatório. arquivo .csv de exemplo no projeto

Retorno de sucesso:

{
  "message": "File upload with success!",
  "file": "bd40728a-e82b-4dce-91e0-c6d4701ab7ef.csv"
}

GET localhost:5001/v1/api/listAllFiles/
[
  {
    "id": "63997d71-80d5-11ee-b9ca-0242ac1a0002",
    "name": "b1efa05c-e596-47db-b02e-54801d9ab054.csv",
    "created_at": "2023-11-12T00:00:48.000Z"
  },
  {
    "id": "64e96761-80d1-11ee-b9ca-0242ac1a0002",
    "name": "59254608-8743-4527-849d-2e0f832cbfe1.csv",
    "created_at": "2023-11-11T23:32:12.000Z"
  }
]

GET localhost:5001/v1/api/listAllObjectsBuckets/

Exemplo de resposta:

[
  {
    "name": "6ba02571-5520-4a2c-8e31-6ebc222e6757.csv",
    "size": 2267
  }
]

POST localhost:5001/v1/api/createPerson/
Parâmetro Tipo Descrição
filename string Obrigatório. nome do arquivo .csv de exemplo no projeto

Exemplo:

{
  "filename":  "59254608-8743-4527-849d-2e0f832cbfe1.csv"
}

Retorno de sucesso:

[
  {
    "name": "João",
    "age": 25,
    "sex": "M",
    "size": 175,
    "weight": 70
  },
  {
    "name": "Maria",
    "age": 30,
    "sex": "F",
    "size": 160,
    "weight": 55
  },
  {
    "name": "Carlos",
    "age": 22,
    "sex": "M",
    "size": 180,
    "weight": 75
  },
  {
    "name": "Ana",
    "age": 28,
    "sex": "F",
    "size": 165,
    "weight": 60
  },
  ...
]

GET localgost:5001/v1/api/listPersons/

Retorno de Sucesso:

{
 [
  {
    "id": "cd42905b-8105-11ee-b9ca-0242ac1a0002",
    "name": "João",
    "age": 25,
    "sex": "M",
    "size": "175.00",
    "weight": "70.00"
  },
  {
    "id": "cd45cb43-8105-11ee-b9ca-0242ac1a0002",
    "name": "Maria",
    "age": 30,
    "sex": "F",
    "size": "160.00",
    "weight": "55.00"
  },
  {
    "id": "cd4ccb2d-8105-11ee-b9ca-0242ac1a0002",
    "name": "Carlos",
    "age": 22,
    "sex": "M",
    "size": "180.00",
    "weight": "75.00"
  },
  {
    "id": "cd50c0bf-8105-11ee-b9ca-0242ac1a0002",
    "name": "Ana",
    "age": 28,
    "sex": "F",
    "size": "165.00",
    "weight": "60.00"
  },
  ...
 ]
}