Ejemplos para el curso de Gestión y procesamiento de GVD

1. Archivos con ejemplo básicos de SPARK

1.1. Contador de palabras.

0_1_wordcount.ipynb

Una explicación detallada la puede encontrar aqui

1.2. Transformaciones y acciones básicas API no estructurado

0_2_Introduction_To_Spark.ipynb

1.3. Creación de Dataframes y operaciones básicas.

0_3_dataframes_1.ipynb

1.4. Más ejemplos de Dataframes y uso del SQL.

0_4_dataframes_2.ipynb

1.5. Ejemplos del optimizador basado en costos.

En construcción.

Para conocer como trabaja el optimizador (Catalysis) basado en costos aquí

1.6. Ejemplos de Locality Sensitive Hashing

0_6_LSH.ipynb

1.7. Ejemplos de PCA y SVD -

0_7_PCA_SVD.ipynb

Nota

Algunos ejemplos son tomados del texto:

Directorios de datos usados por los ejemplos. Contiene archivos txt, json y csv

Data

2. Cómo correr el código ?

Use su cuenta Collaborative de google

2.1. Inicie sesión de Collaborative aqui. (Use su usuario google)

2.2 Suba los archivosejemplo (.ipynb) y el directorio (Data) a la carpeta Colab Notebooks.

Colab Notebooks es una carpeta que se adiciona a su google drive cuando se crea una cuenta en collaborative. Ejemplo del drive