DataScience - EBAC

Cientista de Dados

Módulo 1 - Perspectivas de Carreira
Módulo 2 - Metodologia
Módulo 3 - Elementos básicos de Python e Numpy - Parte I
Módulo 3 - Elementos básicos de Python e Numpy - Parte II
Módulo 4 - Introdução ao Pandas e carga de dados
Módulo 5 - Limpeza e preparação de dados
Módulo 6 - Descritiva I
Módulo 7 - Árvores I
Módulo 8 - Git / GitHub - Controle de versionamento
Módulo 9 - TdD III - Agregações e operações em grupos
Módulo 10 - Descritiva II - Análise descritiva para resposta contínua
Módulo 11 - Árvores II (Parte I: árvore de regressão)
Módulo 12 - Regressão I
Módulo 13 - Regressão II
Módulo 14 - Scripting
Módulo 15 - Streamlit I
Módulo 16 - TdD IV - Pandas avançado
Módulo 17 - Árvores II (Parte II: árvore de classificação)
Módulo 18 - Regressão Logística I
Módulo 19 - Streamlit II
Módulo 20 - Markdown / Terminal
Módulo 21 - TdD V - SQL
Módulo 22 - Descritiva III - Gráficos interativos - Plotly
Módulo 23 - Combinação de modelos I
Módulo 24 - Combinação de modelos II
Módulo 25 - Cálculo
Módulo 26 - Algelin
Módulo 27 - PCA
Módulo 28 - Streamlit III, IV
Módulo 29 - K-means
Módulo 30 - Hierárquicos / aglomerativos
Módulo 31 - Streamlit V
Módulo 32 - Probabilidade
Módulo 33 - Inferência
Módulo 34 - Regressão III
Módulo 35 - Regressão IV
Módulo 36 - Descritiva IV - Visualização de dados categorizados
Módulo 37 - Regressão Logística II
Módulo 38 - Streamlit VI e Pycaret

DataScience - EBAC

--- Python versão 3.10

Linguagem

Python/Anaconda https://www.anaconda.com/
SQL/PostgreSQL https://www.postgresql.org/

Bibliotecas

numpy
pandas
plotly
matplotlib
seaborn
tabula
scikit-learn
Streamlit

Habilidades

Domínio do Python
Linguagem SQL/postgresql
Árvore de decisão na prática
Big Data e Machine Learning
Competências/Ferramentas
Visualização de dados
Padronizações
Resolução de problemas com base em dados

NumPy

https://www.w3schools.com/python/numpy/default.asp

As matrizes NumPy são armazenadas em um local contínuo na memória, ao contrário das listas, para que os processos possam acessá-las e manipulá-las com muita eficiência.

Esse comportamento é chamado de localidade de referência em ciência da computação.

Esta é a principal razão pela qual o NumPy é mais rápido do que as listas. Também é otimizado para trabalhar com as mais recentes arquiteturas de CPU.

NumPy fornece um grande conjunto de funções e operações de biblioteca que ajudam os programadores a executar facilmente cálculos numéricos.(Modelos Machine Learning, Processamento de Imagem e Computação Gráfica e Tarefas matemáticas

Pandas

https://www.w3schools.com/python/pandas/default.asp

Existe uma correlação entre duas ou mais colunas? O que é valor médio?Valor máximo?Valor mínimo? Os pandas também podem excluir linhas que não são relevantes ou que contêm informações erradas valores, como valores vazios ou NULL. Isso é chamado de limpeza dos dados.

Utilizada para exploração de dados, manipulação e análise: usado para estruturas de dados e funções para carregar dados em CSV, manipular estrutura tabular.

Plotly

https://plotly.com/python/

Plotar gráficos interativos e dinamicos

Matplotlib

https://www.w3schools.com/python/matplotlib_intro.asp

Matplotlib é uma biblioteca de plotagem de gráficos de baixo nível em python que serve como um utilitário de visualização.

Streamlit

https://streamlit.io/

O Streamlit é uma biblioteca Python de código aberto que facilita a criação e o compartilhamento de aplicativos da Web bonitos e personalizados para aprendizado de máquina e ciência de dados. Em apenas alguns minutos, você pode criar e implantar aplicativos de dados poderosos.

seaborn

https://seaborn.pydata.org/

Seaborn é uma biblioteca de visualização de dados Python baseada em matplotlib. Ele fornece uma interface de alto nível para o desenho gráficos estatísticos atraentes e informativos.

scikit-learn

https://scikit-learn.org/stable/index.html

Classificação Identificar a qual categoria um objeto pertence. Aplicativos: Detecção de spam, reconhecimento de imagem.
Regressão Prevendo um atributo de valor contínuo associado a um objeto. Aplicativos: Resposta a medicamentos, Preços das ações.
Clustering Agrupamento automático de objetos semelhantes em conjuntos. Aplicativos: Segmentação de clientes, Agrupamento de resultados de experimentos
Redução da dimensionalidade Reduzir o número de variáveis aleatórias a serem consideradas. Aplicativos: Visualização, Algoritmos de maior eficiência
Seleção de modelo Comparar, validar e escolher parâmetros e modelos. Aplicativos: Precisão melhorada através de algoritmos de ajuste de afinação
Pré-processamento Extração e normalização de recursos. Aplicativos: Transformar dados de entrada, como texto, para uso com algoritmos de aprendizado de máquina.

Ferramentas simples e eficientes para análise preditiva de dados Acessível a todos e reutilizável em vários contextos Construído em NumPy, SciPy e matplotlib Código aberto, comercialmente utilizável - licença BSD

JupyterLab: Uma interface de notebook de última geração

https://jupyter.org/

O JupyterLab é o mais recente ambiente de desenvolvimento interativo baseado na Web para notebooks, código e dados. Sua interface flexível permite que os usuários configurem e organizem fluxos de trabalho em ciência de dados, computação científica, jornalismo computacional e aprendizado de máquina. Um design modular convida as extensões a expandir e enriquecer a funcionalidade.

Anaconda Tecnologia de ciência de dados para pesquisa inovadora.uma vantagem competitiva.um mundo melhor.

https://www.anaconda.com/

A Anaconda oferece a maneira mais fácil de executar ciência de dados Python / R e aprendizado de máquina em uma única máquina. Comece a trabalhar com milhares de pacotes e bibliotecas de código aberto hoje mesmo.

PostgreSQL

https://www.postgresql.org/

O PostgreSQL é um poderoso sistema de banco de dados objeto-relacional de código aberto com mais de 35 anos de desenvolvimento ativo que lhe valeu uma forte reputação de confiabilidade, robustez de recursos e desempenho.

Tipos de Gráficos.

Gráfico de barras : comparar frequência entre categorias
Gráfico de linhas : tendência ao longo do tempo
Gráfico de dispersão : mostra relação entre variáveis
Gráfico de pizza : distribuição proporcional de diferentes categorias
Mapa : visualização de dados geoespaciais

Name		Name	Last commit message	Last commit date
Latest commit History 164 Commits
22 - CSV		22 - CSV
Aula 15		Aula 15
Mod 08 - Git, Gitbash, Github		Mod 08 - Git, Gitbash, Github
Mod 14 - Tarefa02 argumentos , cmd, script		Mod 14 - Tarefa02 argumentos , cmd, script
Mod 19 - streamlit2/data/input		Mod 19 - streamlit2/data/input
Mod 24 - Gradient Boosting Machine		Mod 24 - Gradient Boosting Machine
Mod 31 - Streamlit RFV		Mod 31 - Streamlit RFV
LICENSE		LICENSE
Mod 01 - Classificação de crédito.ipynb		Mod 01 - Classificação de crédito.ipynb
Mod 02 - Elementos básicos do Python e NumPy.ipynb		Mod 02 - Elementos básicos do Python e NumPy.ipynb
Mod 03 - Treinar funções e o uso de Numpy.ipynb		Mod 03 - Treinar funções e o uso de Numpy.ipynb
Mod 04 - Tarefa 01 - Introdução ao Pandas e carga de dados.ipynb		Mod 04 - Tarefa 01 - Introdução ao Pandas e carga de dados.ipynb
Mod 04 - Tarefa 02 - objetos_index, operacoes_DataFrames&Series, valores_unicos,contadores,pertinencia.ipynb		Mod 04 - Tarefa 02 - objetos_index, operacoes_DataFrames&Series, valores_unicos,contadores,pertinencia.ipynb
Mod 04 - Tarefa 03 - lendo Arquivos csv.ipynb		Mod 04 - Tarefa 03 - lendo Arquivos csv.ipynb
Mod 05 - Tarefa 01 - Tratando dados NaN, renomeando indices e colunas, categorizando dados, dummies.ipynb		Mod 05 - Tarefa 01 - Tratando dados NaN, renomeando indices e colunas, categorizando dados, dummies.ipynb
Mod 05 - Tarefa 02 - default, risco_de_credito, juncoes, analise_de_credito..ipynb		Mod 05 - Tarefa 02 - default, risco_de_credito, juncoes, analise_de_credito..ipynb
Mod 06 - Tarefa 1 - matplotlib,grafico.ipynb		Mod 06 - Tarefa 1 - matplotlib,grafico.ipynb
Mod 06 - Tarefa 2.ipynb		Mod 06 - Tarefa 2.ipynb
Mod 06 - Tarefa 3.ipynb		Mod 06 - Tarefa 3.ipynb
Mod 07 - Tarefa 01.ipynb		Mod 07 - Tarefa 01.ipynb
Mod 07 - Tarefa 02.ipynb		Mod 07 - Tarefa 02.ipynb
Mod 09 - Tarefa1 - sort_values, groupby, agg, plot, mean, max, min.ipynb		Mod 09 - Tarefa1 - sort_values, groupby, agg, plot, mean, max, min.ipynb
Mod 09 - Tarefa2 - latitude, min, max, median, pivottable,.ipynb		Mod 09 - Tarefa2 - latitude, min, max, median, pivottable,.ipynb
Mod 10 - exercicio1, log, regplot,scaterplot, outliers.ipynb		Mod 10 - exercicio1, log, regplot,scaterplot, outliers.ipynb
Mod 10 - exercicio2 bivariada continua e discreta-checkpoint.ipynb		Mod 10 - exercicio2 bivariada continua e discreta-checkpoint.ipynb
Mod 10 - exercicio3 Estabilidade.ipynb		Mod 10 - exercicio3 Estabilidade.ipynb
Mod 11 - Regressao, graphviz, teste, treinamento.ipynb		Mod 11 - Regressao, graphviz, teste, treinamento.ipynb
Mod 11- exe2 - R-quadrado, MSE, pre poda,pos poda.ipynb		Mod 11- exe2 - R-quadrado, MSE, pre poda,pos poda.ipynb
Mod 12 - ex01 - regressão linear simples.ipynb		Mod 12 - ex01 - regressão linear simples.ipynb
Mod 12 - ex02 - transformações em X e Y.ipynb		Mod 12 - ex02 - transformações em X e Y.ipynb
Mod 12 - ex03 - regressão múltipla-checkpoint.ipynb		Mod 12 - ex03 - regressão múltipla-checkpoint.ipynb
Mod 13 - Tarefa 01 - Regressão 2, patsy, log, Treatment(.ipynb		Mod 13 - Tarefa 01 - Regressão 2, patsy, log, Treatment(.ipynb
Mod 13 - Tarefa02.ipynb		Mod 13 - Tarefa02.ipynb
Mod 14 - Tarefa01 - Gerando análises mensais, juntando códigos.ipynb		Mod 14 - Tarefa01 - Gerando análises mensais, juntando códigos.ipynb
Mod 17 - Arvore2.ipynb		Mod 17 - Arvore2.ipynb
Mod 17 - ex2.ipynb		Mod 17 - ex2.ipynb
Mod 17 - ex3. Arvores_II-Tarefa_3.ipynb		Mod 17 - ex3. Arvores_II-Tarefa_3.ipynb
Mod 18 - ex1.ipynb		Mod 18 - ex1.ipynb
Mod 18 - ex2.ipynb		Mod 18 - ex2.ipynb
Mod 20 - Markdown,Latex, Shell, CLI, GUI.ipynb		Mod 20 - Markdown,Latex, Shell, CLI, GUI.ipynb
Mod 21 - Atividade 3.ipynb		Mod 21 - Atividade 3.ipynb
Mod 22 - plotly.ipynb		Mod 22 - plotly.ipynb
Mod 22 - tarefa02.ipynb		Mod 22 - tarefa02.ipynb
Mod 23 - Bagging - Bootstrapping - Aggregation-checkpoint.ipynb		Mod 23 - Bagging - Bootstrapping - Aggregation-checkpoint.ipynb
Mod 23 - Random Forest.ipynb		Mod 23 - Random Forest.ipynb
Mod 23 - Tarefa3 Hyperparametros Random Forest.ipynb		Mod 23 - Tarefa3 Hyperparametros Random Forest.ipynb
Mod 24 - exe1.ipynb		Mod 24 - exe1.ipynb
Mod 24 - exer2.ipynb		Mod 24 - exer2.ipynb
Mod 25 - Tarefa01.ipynb		Mod 25 - Tarefa01.ipynb
Mod 25 - Tarefa02.ipynb		Mod 25 - Tarefa02.ipynb
Mod 26 - Tarefa.ipynb		Mod 26 - Tarefa.ipynb
Mod 27 - Tarefa01.ipynb		Mod 27 - Tarefa01.ipynb
Mod 27 - Tarefa02.ipynb		Mod 27 - Tarefa02.ipynb
Mod 29 - K-MEANS.ipynb		Mod 29 - K-MEANS.ipynb
Mod 30 - Avaliando número de grupos alternativos.ipynb		Mod 30 - Avaliando número de grupos alternativos.ipynb
Mod 30 - Tarefa2 - Agrupando dados de varejo.ipynb		Mod 30 - Tarefa2 - Agrupando dados de varejo.ipynb
Mod 32 - Probabilidades.ipynb		Mod 32 - Probabilidades.ipynb
Mod 33 - Inferência.ipynb		Mod 33 - Inferência.ipynb
Mod 34 - Regressao III.ipynb		Mod 34 - Regressao III.ipynb
Mod 35 - Regressão IV.ipynb		Mod 35 - Regressão IV.ipynb
Mod 36 - ex1.ipynb		Mod 36 - ex1.ipynb
Mod 36 - ex2.ipynb		Mod 36 - ex2.ipynb
Mod 37 - ex1.ipynb		Mod 37 - ex1.ipynb
Mod 37 - ex2.ipynb		Mod 37 - ex2.ipynb
Mod38Exercicio1.ipynb		Mod38Exercicio1.ipynb
Mod38Projeto.ipynb		Mod38Projeto.ipynb
Python_module_3_exercise_revisado.ipynb		Python_module_3_exercise_revisado.ipynb
Python_modulo_1_exercicios.ipynb		Python_modulo_1_exercicios.ipynb
Python_modulo_2_exercicios.ipynb		Python_modulo_2_exercicios.ipynb
README.md		README.md
config postgres para arquivo sql windows 11.txt		config postgres para arquivo sql windows 11.txt
credit_scoring.csv		credit_scoring.csv
documentacao.py		documentacao.py

License

harleiaki/DataScience-

Folders and files

Latest commit

History