Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

API fora do ar #204

Closed
Leocamarggo opened this issue Feb 15, 2024 · 52 comments
Closed

API fora do ar #204

Leocamarggo opened this issue Feb 15, 2024 · 52 comments

Comments

@Leocamarggo
Copy link

Bom dia, pessoal! Primeiramente, parabéns pelo projeto.

Estive utilizando a API nos ultimos dias e notei que a mesma esta fora do ar.
Está retornando Error code 522 no Cloudflare.

image

Gostei bastante do projeto e queria saber se pretendem colocar no ar novamente.

Desde já, obrigado :)

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

O servidor caiu. Estou olhando o que foi e vendo o que fazer para voltar pro ar. Obrigada por avisar : )

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

O data center que a Minha Receita utiliza está realizando uma manutenção em caráter de urgência: https://contabo-status.com/

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

Não há nada que a gente possa fazer, nem por SSH o servidor está acessível. O tempo esperado para manutenção é de 45min. Vou acompanhar.

@Lucas-Angelo
Copy link

O data center que a Minha Receita utiliza está realizando uma manutenção em caráter de urgência: https://contabo-status.com/

Essa manutenção começou dia 12/02?

@eitchtee
Copy link

eitchtee commented Feb 15, 2024

@cuducos é impressão minha ou a manutenção estava prevista pra começar dia 12 e tá rodando até hoje? Emendaram o carnaval no datacenter

Vale dizer que desde ontem a noite, por volta das 18 horas, a API já estava fora do ar.

@Lucas-Angelo
Copy link

Dureza, no dia de apresentação do projeto KK

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

Dureza, no dia de apresentação do projeto

Quem bom que é código (e dados) aberto. Assim você pode subir localmente, ou num servidor teu parta fazer a apresentação ; )

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

@Lucas-Angelo e @eitchtee: Sim, o cronograma parece furado. Estou aguardando contato do suporte deles.

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

Ok, o servidor voltou ao ar, mas aparentemente perdeam o banco de dados. Vou iniciar um novo processo do ETL, mas isso leva cerca de 2h.

Ainda estão em manutenção e talvez isso se perca novamente. Vou monitorar.

@eitchtee

This comment was marked as off-topic.

@cuducos

This comment was marked as off-topic.

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

Apenas atualizando com o progresso do ETL carregando os dados, já foi mais da metade:

2024/02/15 15:34:12 Dropping table public.cnpj…
2024/02/15 15:34:12 Creating table public.cnpj…
2024/02/15 15:34:13 Saving the updated at date to the database…
2024/02/15 15:34:13 Loading Simples files…
2024/02/15 15:34:13 Loading Empresas files…
2024/02/15 15:34:13 Loading Socios files…
Processing base CNPJ, partners and taxes 100% |███████████████████████| (117544995/117544995, 26390 it/s)              
2024/02/15 16:50:24 Loading Estabelecimentos files…                                                                    
Creating the JSON data for each CNPJ  43% |███████████               | (25755648/59128283, 12311 it/s) [1h5m52s:45m10s]

@cuducos
Copy link
Owner

cuducos commented Feb 15, 2024

Reestabelecida. Ufa! Obrigada a todo mundo que reportou, deu força, apoiou e deu sugestões de melhoria! Espero que a apresentação dê certo/tenha dado certo, @Lucas-Angelo : )

@cuducos cuducos closed this as completed Feb 15, 2024
@Lucas-Angelo
Copy link

Lucas-Angelo commented Feb 15, 2024

Reestabelecida. Ufa! Obrigada a todo mundo que reportou, deu força, apoiou e deu sugestões de melhoria! Espero que a apresentação dê certo/tenha dado certo, @Lucas-Angelo : )

Deixamos para preencher manual, mas deu bom eu acho kkk

@b2evandro
Copy link

Acho que está ocorrendo novamente
image

@cuducos
Copy link
Owner

cuducos commented Mar 18, 2024

Abri um chamado no suporte da Contabo. Nada de resposta ainda.

@cuducos
Copy link
Owner

cuducos commented Mar 19, 2024

Assim como da outra vez o servidor voltou, mas o banco de dados não. Iniciei o processo de subir os dados novamente — leva algumas horas.

@cuducos
Copy link
Owner

cuducos commented Mar 19, 2024

Se alguém tiver alguma sugestão de outro servidor, estou aberto. Descrevi aqui e aqui o básico dos requisitos e valores:

I am looking for a new server for Minha Receita — https://github.com/cuducos/minha-receita

I currently use Contabo, but two outages in roughly a month are too much.

I pay 13 USD/month for a VPS. The crucial is 400Gb storage. Currently, I have 6 vCPU, 16Gb RAN and 32Tb traffic.

Any recommendation?

Quem usar e puder dar boost/repost, eu agradeço : )

@Cauen

This comment was marked as off-topic.

@cuducos

This comment was marked as off-topic.

@Cauen

This comment was marked as off-topic.

@cuducos
Copy link
Owner

cuducos commented Mar 19, 2024

Provavelmente em mais 1h deve estar reestabelecida:

$ minha-receita transform -b 32768 -m 16
2024/03/19 13:35:56 Saving the updated at date to the database…
2024/03/19 13:35:56 Loading Simples files…
2024/03/19 13:35:56 Loading Empresas files…
2024/03/19 13:35:56 Loading Socios files…
Processing base CNPJ, partners and taxes 100% |███████████████████| (118378801/118378801, 24887 it/s)              
2024/03/19 14:55:36 Loading Estabelecimentos files…                                                                
Creating the JSON data for each CNPJ  14% |███                     | (8454144/59495419, 20501 it/s) [16m56s:41m29s]

@cuducos
Copy link
Owner

cuducos commented Mar 19, 2024

Criei um monitor para dowtime.

Atualização: o monior está vermelho pq o /healthz não aceitava HEAD (quando fadf40c cheagr em produção deve resolver).

@cuducos
Copy link
Owner

cuducos commented Mar 19, 2024

Parece que ainda está com problema

Se a issue está aberta, é pq ela não foi resolvida ainda ; )

Atualização: escondendo pois a pessoa que postou a pergunta, excluiu a pergunta.

@cuducos
Copy link
Owner

cuducos commented Mar 20, 2024

Aparentemente, retornou ao normal.

@cuducos cuducos closed this as completed Mar 20, 2024
@cuducos
Copy link
Owner

cuducos commented Mar 20, 2024

E o banco de dados se perdeu outra vez.

@carlosmixz
Copy link

Pelo jeito está normal agora!

@cuducos
Copy link
Owner

cuducos commented Mar 20, 2024

@carlosmixz não está.

Ainda não completou o carregamento de cerca de 8% dos CNPJs, e o banco de dados está sem índices (resposta mais demoradas):

2024/03/20 19:37:55 Loading Estabelecimentos files…
Creating the JSON data for each CNPJ  92% |████████████████████████████████████████████████████████████      | (55001088/59495419, 11622 it/s) [1h13m30s:6m26s]

@Leticiamacedo10
Copy link

Olá! Boa tarde! Ainda não consigo utilizar o API.

@cuducos
Copy link
Owner

cuducos commented Mar 21, 2024

Olá! Boa tarde! Ainda não consigo utilizar o API.

Como esperado, dado que essa issue ainda está aberta ; )

@cuducos
Copy link
Owner

cuducos commented Mar 21, 2024

Ok. Falei com o suporte — eles só responderam agora, depois de dois dias. Disseram que tiveram manutenção, mas que deve estar tudo 100% agora. Subi novamente o banco de dados. Veremos se agora fica — pelo menos até o final de semana quando, se eu tiver tempo, vou tentar mudar de servidor.

@cuducos
Copy link
Owner

cuducos commented Apr 22, 2024

No momento o servidor não me dá nem acesso SSH, então não há o que fazer. Vou atualizando aqui.

@cuducos
Copy link
Owner

cuducos commented Apr 22, 2024

Existem algumas manutenções planejadas para hoje em https://contabo-status.com/ — aguardemos.

@Jpmmdf
Copy link

Jpmmdf commented Apr 22, 2024

Boa tarde @cuducos,

Eu posso te ajudar a colocar uma replica da aplicação na OCI, com o always free, sem custo, o que acha?

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

@Jpmmdf — sem custos é a tua ajuda, ou OCI? Pois os preços de rodar o Minha Receita no OCI passam muito os 20 USD/mês que o projeto arrecada. Os serviços always free não aguentam os requisitos.

A propósito, o servidor continua sem acesso SSH, vai ficar para amanhã a resolução.

@mat-aranha
Copy link

Fala, pessoal!

O servidor voltou a responder, mas aparentemente o banco foi perdido novamente
IMG_3290

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

Por alguma bizarrice, isso já aconteceu outras vezes.

Vou terminar de baixar os dados de abril a subir o banco novo. Aviso aqui quando terminar — e fecho a issue outra vez. Ufa.

@mat-aranha
Copy link

Boa!

@hslira
Copy link

hslira commented Apr 23, 2024

A chamada na API agora retorna o espelho de dados do projeto, não o resultado da chamada.
Isso faz com que o monitor indique que a API está operacional mas, quando utilizada, retorna um erro.

@SelmoMariano
Copy link

Caro Edu, boa tarde!

Amigo,
Tem previsão de quando a API voltará a funcionar?
Gratidão sempre.
Abraço,

@gilbertogara
Copy link

gilbertogara commented Apr 23, 2024

Boa tarde pessoal, tranquilo? Acredito que o retorno da API ainda esteja errado, só reforçando o que o [hslira] disse acima ali.

Aproveitando pra agradecer pela API, ajuda bastante! Valeuuuuu

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

Gente, eu sei. Eu momento algum assumi que o problema estava resolvido. Se eu não falei que estava resolvido, e mantive a issue aberta, por favor, não gerem mais ruído.

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

Tem previsão de quando a API voltará a funcionar?

Não.

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

Caso tenha alguma sugestão de meta de valor para migrar o serviço para algum provedor que julgue mais adequado, fique a vontade para falar comigo!

A meta sempre foi pública.

@cuducos
Copy link
Owner

cuducos commented Apr 23, 2024

API reestabelecida.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests