première version de la séance 7

sdpython · Nov 17, 2014 · 2015797 · 2015797
1 parent c48b87f
commit 2015797
Show file tree

Hide file tree

Showing 5 changed files with 872 additions and 0 deletions.
diff --git a/.gitignore b/.gitignore
@@ -267,4 +267,8 @@ README
 */notebooks/td3a/stderr.txt
 */notebooks/td3a/results.txt
 */notebooks/td3a/result*.txt
+*/notebooks/td3a/paris*.txt
+*/notebooks/td3a/*.zip
+*/notebooks/td3a/*.pig
+*/notebooks/td3a/velib*.txt
 
diff --git a/_doc/notebooks/td3a/td3a_cenonce_session7a.ipynb b/_doc/notebooks/td3a/td3a_cenonce_session7a.ipynb
diff --git a/_doc/sphinxdoc/source/td_3a.rst b/_doc/sphinxdoc/source/td_3a.rst
@@ -69,6 +69,8 @@ Les outils Python [#fp1]_ simplifient la communication avec le cluster.
         * premier job avec `PIG-latin <https://pig.apache.org/docs/r0.7.0/piglatin_ref2.html>`_ [#fp2]_
         * parallèle entre la syntaxe `PIG <http://pig.apache.org/docs/r0.12.1/basic.html>`_ et `SQL <http://fr.wikipedia.org/wiki/Structured_Query_Language>`_
 
+- Séance 7 : PIG, JSON, streaming
+    * :ref:`PIG et JSON <td3acenoncesession7arst>`  (:ref:`correction <td3acorrectionsession7arst>`) (avec Azure)
 
 Le cours sera évalué avec un :ref:`projet informatique <l-projinfo3a>`.
 
@@ -116,6 +118,9 @@ Bibliographie
 
 **Articles**
 
+* `CUBE and ROLLUP: Two Apache Pig Functions That Every Data Scientist Should Know <http://joshualande.com/cube-rollup-pig-data-science/>`_
+* `How to Read and Write JSON-formatted Data With Apache Pig <http://joshualande.com/read-write-json-apache-pig/>`_
+* `What Every Data Scientist Needs to Know about SQL <http://joshualande.com/data-science-sql/>`_
 * `Large Scale Distributed Deep Networks <http://www.cs.toronto.edu/~ranzato/publications/DistBeliefNIPS2012_withAppendix.pdf>`_, Jeffrey Dean, Greg S. Corrado, Rajat Monga, Kai Chen, Matthieu Devin, Quoc V. Le, Mark Z. Mao, Marc'Aurelio Ranzato, Andrew Senior, Paul Tucker, Ke Yang, Andrew Y. Ng
 * `Stochastic Gradient Descent Tricks <http://research.microsoft.com/pubs/192769/tricks-2012.pdf>`_, Léon Bottou
 * `A Fast Distributed Stochastic Gradient Descent Algorithm for Matrix Factorization <http://jmlr.org/proceedings/papers/v36/li14.pdf>`_, Fanglin Li, Bin Wu, Liutong Xu, Chuan Shi, Jing Shi

diff --git a/_doc/sphinxdoc/source/td_3a_correction.rst b/_doc/sphinxdoc/source/td_3a_correction.rst
@@ -10,4 +10,5 @@ correction
     Séance 1 : Structures de données, tris <notebooks/td3a_correction_session_1>    
     Séance 6 : Map/Reduce avec PIG <notebooks/td3a_correction_session_6>    
     Séance 6 : Map/Reduce avec PIG et Azure <notebooks/td3a_correction_session_6b>
+    Séance 7 : PIG et JSON avec Azure <notebooks/td3a_correction_session_7a>
 
diff --git a/_doc/sphinxdoc/source/td_3a_enonce.rst b/_doc/sphinxdoc/source/td_3a_enonce.rst
@@ -10,3 +10,4 @@
     Séance 1 : Structures de données, tris <notebooks/td3a_cenonce_session_1>
     Séance 6 : Map/Reduce avec PIG <notebooks/td3a_cenonce_session_6>
     Séance 6 : Map/Reduce avec PIG et Azure <notebooks/td3a_cenonce_session_6b>
+    Séance 7 : PIG et JSON avec Azure <notebooks/td3a_cenonce_session_7a>