Skip to content

ODAGAMMXIX/PFOLIO5_EDUCALYTICS

Repository files navigation

PORTFOLIO ACADÊMICO - PROJETOS INTEGRADORES:

SEMESTRE-01-2019.2 - Python-Sqlite3 Web Scrapper - Monitor de Segurança Pública

SEMESTRE-02-2020.1 - Java-MySQL Stand Alone App - Gráfico de GANTT para Gestores

SEMESTRE-03-2020.2 - Java-Oracle - Cadastro Positivo e Desbancarizados

SEMESTRE-04-2021.1 - Java-Oracle API - Recrutamento por Geolocalização et al.

SEMESTRE-06-2022.1 - Python-MongoDB-LGPD Opt-in, Opt-out


[Java-Pentaho-My(SQL)Server-MongoDB - Engajamento Estudantil.]

EDUCALYTICS

The Analytics of Education

I - RESUMO DO PROJETO

Desafio: Desenvolver uma plataforma com fulcro em Ciência de Dados, capaz de buscar e consumir fontes externas i.e. aplicações legado (in casu "Skilllshare"), suprindo os tomadores de decisão de uma dada instituição de ensino com informações gerenciais.

Os dados são produzidos pelo uso regular de uma plataforma externa de e-learning, por alunos e professores. Assim, o histórico de uso, incluindo as interações pelo chat e logs de sistema, tarefas, desempenho acadêmico dos alunos e satisfação dos usuários podem ser extraídos, compilados e apresentados à Diretoria e/ou acionistas.

Ao final, Educalytics foi capaz de demonstrar o comportamento dos usuários da aplicação legado, provendo inteligência suficiente, suportando o processo de tomada de decisão.

Consequentemente, Educalytics apresenta uma interface gráfica, na forma de dashboard com os dados mais importantes sob o ponto de vista da instituição de ensino contratante.

For DASHBOARD (FRONTEND), please acess: https://gitlab.com/rafaelEstevam/front-educalytics

1) A ARQUITETURA DO EDUCALYTICS

  • 2) FRONTEND;
2.1) *DASHBOARD*.

2.2) LOGIN SCREEN (COM CRIPTOGRAFIA "bcript").

2.3) REQUISIÇÃO USANDO "UNIQUE TOKEN".

2.4) INTEGRAÇÃO CONTÍNUA.

2.5) ENGAJAMENTO DO ALUNO NO DASHBOARD.

(Clique aqui)

(Clique aqui)

(Clique aqui)

2.6) NOTAS, POR ESTUDANTE.

  • 3) BACKEND - AS 8 CAMADAS (MPConConRVSC).

Model, Payload, Config, Converter, Repository, Validator, Services, Controller.

Camadas (Engenharia de Software).

3.1) BACKEND - VALIDAÇÃO (user and password).

3.2) BACKEND - ACESSO AO BD.

3.3) BD - ETL.

3.3.1) BD - ETL DIMENSÃO "TEMPO", DE ARQUIVO CSV.

3.3.2) BD - ETL TABELA "AULA" (APLICAÇÃO LEGADO) PARA DIMENSÃO "DISCIPLINA".

3.3.3) BD - ETL "CURSO" PARA DATAMART NA DIMENSÃO "PROGRAMME" .

  • 4) BD TRANSACIONAL EDUCALYTICS's (RELACIONAL)
4.1) MODELO LÓGICO.

4.2) MODELO ENTIDADE-RELACIONAMENTO.

4.5) MODELAGEM DA APLICAÇÃO LEGADO.

4.6) MODELAGEM DATAMART "DESEMPENHO".

4.7) DATAMART "PARTICIPATION" (ENGAJAMENTO).

4.8) DATAMART "PARTICIPATION" (ENGAJAMENTO) - EXTRAÇÃO DE DADOS DO MONGODB.

4.9) DATAMART "PARTICIPATION" (ENGAJAMENTO) - EXTRAÇÃO DE DADOS PARA A **TABELA FATO**.

5) DUPLO ETL (MONGODB + APLICAÇÃO LEGADO).

5.1) ARQUITETURA DA APLICAÇÃO LEGADO.

5.2) DATAMART "ENGAJAMENTO" - ETL DO BD NÃO-RELACIONAL.

5.3) *COLLECTIONS* DO BD NÃO-RELACIONAL NO MONGODB CLOUD - CHAT+LOGS.

5.3.1) COLEÇÃO "CONNECTIONS" (AO DATAMART "ENGAJAMENTO").

5.4.2) COLEÇÃO "MESSAGES" (AO DATAMART "ENGAJAMENTO").

6) CASOS DE USO

II - TECNOLOGIAS ADOTADAS NA SOLUÇÃO.

🔧 MongoDB

🔧 MySQL

🔧 MicrosoftSQLServer

🔧 Backend: Java,

🔧 Frontend: HTML5, CCS, JavaScript, React, Styled Components, Axios, NodeJS.

🔧 Insomnia

🔧 COMPASS, MySQL WORKBENCH, SQL Server Management Studio.

🔧 IDE: Visual Studio Code.

🔧 Git 🔧 GitLab

🔧 Metodologia Scrum e Ágil;

🔧 OBS Studio / Kdenlive

III - CONTRIBUIÇÕES INDIVIDUAS/PESSOAIS

🪓 Atuei como Software Architect, Data Analyst, Data Modeler, Product Owner e Scrum Master

🪓 Como P.O., compreendi imediatamente a necessidade e realizei comunicação veloz com a equipe para criar uma plataforma de visão estratégica, provendo inteligência ao negócio e habilitado o raciocínio analítico, com dashboard contendo dados de desempenho dos alunos, histórico interações em chat, logs, com escalabilidade.

🪓 Norteei a aplicação para mostrar: i. melhores e piores frequência nas aulas;

ii. maiores e menores interações (chat, para sanar dúvidas e avaliação das aulas dadas);

iii. plataforma funcional com capacidade analítica, essecialmente:

  • Ativação: Quantos usuários ativos (aluno/colaboradores) na plataforma legado;
  • Engajamento: Conhecer o número de usuários, tipos, seu comportamento (matrícula, curso, disciplina, participação);
  • Desempenho: qual o aproveitamento do aluno (nota atingida) e do professor (andamento da turma);
  • Participação x taxas de conclusão x desempenho dos alunos/colaboradores;
  • Avaliação de reação: Likes, quanto ao conteúdo apresentado, experiência do aluno/colaborador durante o curso;
  • Registro do tempo de participação no curso;
  • Armazenamento de logs e histórico das conversas do chat;

IV - APRENDIZADOS EFETIVOS

✔️ No FRONTEND, implementar criptografia e token.

✔️ No BACKEND, implementar arquitetura em oito camadas, com múltiplos BACKENDs (acesso aos 03 BD: transacional, Datawarehouse, aplicação legado).

✔️ Extração e transformação de dados do MicrosoftSQLServer, simulando os registros de desempenho acadêmico no BD da aplicação legado;

✔️ Extração e transformação de dados do MongoDB, simulando os registros de de CHAT e logs no BD da aplicação legado;

✔️ MySQL, recebe os dados extraídos e transformados (Loading);

✔️ DATA WAREHOUSE - Um Datamart para cada a indicador métrico apresentado no DASHBOARD;

✔️ DASHBOARD, emulando o PDI-PENTAHO, para a apresentação dos dados estratégicos;

✔️ Estudo profundo do PENTAHO, realizando ETL (Extraction, Transformation, Loading) de múltiplas fontes (SQLServer,MongoDB, CSV);

✔️ Implantar BD distribuídos, clusterização e fragmentação.

Running it up

Deployment No seu dispositivo Vide Pasta "DEPLOYMENT-FIND-STEPS-HERE" acima)

The End. :arrow_up: Go Back Up.

About

Java-Pentaho-My(SQL)Server-MongoDB - Engajamento Estudantil

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published