Estudos data Science - SaS-Cov19

Objetivo

Nesse reprositório que fiz e de estudos de machine learning, data analytics, modelos ML NLP. Esse projetos e para fim de estudos em ciências de dados aplicando os dados da covid19.

Autores

• @RafaelGallo

Ferramentas

• Python
• R
• Análise de dados
• Machine learning
• Dashboard
• Series temporais

Projeto

Projeto	Link
Machine learning NLP - Research Articles	Link
Machine learning NLP - COVID-19 All Vaccines Tweets	Link
Machine learning NLP - Coronavirus tweets text Classification	Link
Machine learning NLP - COVID-19 🦠 Vaccine Tweets	Link
Machine learning NLP - Omicron - Covid19 Variant	Link
Time series - Corona Virus	Link
Time series - COVID-19 World Vaccination Progress	Link
Data analytics - COVID-19 World Vaccination Progress	Link
Data analytics - Covid Variants	Link
Data analytics - COVID-19 Vaccinations	Link
Machine learning - COVID Fake News	Link
Machine learning - Fake news	Link
Machine learning - Diagnosis of COVID-19 and its clinical spectrum	Link
Machine learning - COVID-NET Hospitalization Rates	Link
Machine learning - SARS hospitalization in Brazil	Link
Machine learning - OpenVaccine: COVID-19 mRNA Vaccine	Link
Deep learning X-Ray Images (Pneumonia)	Link
Deep learning COVID-19 Patients Lungs X Ray Images 10000	Link

Variáveis de Ambiente

Para rodar esse projeto, você vai precisar adicionar as seguintes variáveis de ambiente no seu .env

Instalando a virtualenv

pip install virtualenv

Nova virtualenv

virtualenv nome_virtualenv

Ativando a virtualenv

source nome_virtualenv/bin/activate (Linux ou macOS)

nome_virtualenv/Scripts/Activate (Windows)

Retorno da env

projeto_py source venv/bin/activate

Desativando a virtualenv

(venv) deactivate

Instalando pacotes

(venv) projeto_py pip install flask

Instalando as bibliotecas

pip freeze

Instalação

Instalação das bibliotecas para esse projeto no python.

  conda install pandas 
  conda install scikitlearn
  conda install numpy
  conda install scipy
  conda install matplotlib

  python==3.6.4
  numpy==1.13.3
  scipy==1.0.0
  matplotlib==2.1.2

Instalação do Python É altamente recomendável usar o anaconda para instalar o python. Clique aqui para ir para a página de download do Anaconda https://www.anaconda.com/download. Certifique-se de baixar a versão Python 3.6. Se você estiver em uma máquina Windows: Abra o executável após a conclusão do download e siga as instruções.

Assim que a instalação for concluída, abra o prompt do Anaconda no menu iniciar. Isso abrirá um terminal com o python ativado. Se você estiver em uma máquina Linux: Abra um terminal e navegue até o diretório onde o Anaconda foi baixado. Altere a permissão para o arquivo baixado para que ele possa ser executado. Portanto, se o nome do arquivo baixado for Anaconda3-5.1.0-Linux-x86_64.sh, use o seguinte comando: chmod a x Anaconda3-5.1.0-Linux-x86_64.sh.

Agora execute o script de instalação usando.

Depois de instalar o python, crie um novo ambiente python com todos os requisitos usando o seguinte comando

conda env create -f environment.yml

Após a configuração do novo ambiente, ative-o usando (windows)

activate "Nome do projeto"

ou se você estiver em uma máquina Linux

source "Nome do projeto" 

Agora que temos nosso ambiente Python todo configurado, podemos começar a trabalhar nas atribuições. Para fazer isso, navegue até o diretório onde as atribuições foram instaladas e inicie o notebook jupyter a partir do terminal usando o comando

jupyter notebook

Demo modelo M.L

  Demo modelo machine learning

  # Carregando as bibliotecas 
  import pandas as pd
  import seaborn as sns
  import matplotlib.pyplot as plt

  # Carregando o dataset
  data = pd.read_csv("data.csv")
  
  # Visualizando os 5 primeiros itens
  data.head()

  # visualizando linhas e colunas com shape
  data.shape

  # Informações das variaveis
  data.info()

  # Definindo variaveis para modelo
  train = dados.iloc[:, 0:8].values
  test = dados.iloc[:, 1].values

  # Escalonamento dados
  from sklearn.preprocessing import StandardScaler
  scaler = StandardScaler()
  scaler.fit(valores_exames_v1)
  saler_fit = StandardScaler.transform(valores_exames_v1)

  # Treinamento do modelo
  from sklearn.model_selection import train_test_split
  X_train, x_test, y_train, y_test = train_test_split(X, y, test_size = 0.2)

  # Modelo machine learning
  # Algoritmo Naive bayes
  from sklearn.naive_bayes import GaussianNB
  naive = GaussianNB()
  naive.fit(x_train, y_train)
  naive_score = naive.score(x_train, y_train)
  naive_score

  # Previssão do naive bayes
  naive_pred = naive.predict(x_test)
  naive_pred

  # Matriz de confusão e accuracy
  from sklearn import metrics
  from sklearn.metrics import accuracy_score

  accuracy = accuracy_score(y_test, naive_pred)
  matrix_naive = metrics.confusion_matrix(y_test, naive_pred)
  print("Acurácia Naive bayes\n %.2f" % (accuracy))
  print("Matrix de confusão")
  print(matrix_naive)

  # Classification Report 
  from sklearn.metrics import classification_report

  clas1 = classification_report(y_test, reg_pred)
  clas2 = classification_report(y_test, naive_pred)
  print("Regressão logistica\n")
  print(clas1)
  print("Naive bayes\n")
  print(clas2)

Documentação

Documentação

Screenshots

Suporte

Para suporte, mande um email para rafaelhenriquegallo@gmail.com ou entre em nosso canal do Slack.

Licença

MIT