Schedule.md

Lịch hoạt động của nhóm học tập Deep Learning (Deep Lunch)

Buổi offline meeting 7: Recurrent Neural Networks (RNN)

• Thời gian dự kiến: 12:30 ~ 14:00 thứ 5, ngày 15/12/2016

Chủ đề

• Nắm được những khái niệm cơ bản trong Recurrent Neural Networks (RNN)
• Thực hành RNN với thư viện DyNet (Dynamic neural network library)

Recommended Readings

• Chương 10 - Sequence Modeling: Recurrent and Recursive Nets
• Awesome Recurrent Neural Networks, A curated list of resources dedicated to recurrent neural networks.
• Recurrent Neural Networks Tutorial, Part 1 – Introduction to RNNs, on WildML
• How to Construct Deep Recurrent Neural Networks
• Supervised Sequence Labelling with Recurrent Neural Networks, by Alex Graves.
• The Unreasonable Effectiveness of Recurrent Neural Networks
• Sentence Ordering using Recurrent Neural Networks
• Recurrent NNで文書のポジネガ判定する（モデル考案編）

Practice & Softwares

• Practical Neural Networks for NLP, phần Recurrent Neural Networks.
• Introduction to Recurrent Networks in TensorFlow
• RNN using LSTM
• Fast Recurrent Networks Library, by Baidu-research

Buổi offline meeting 6: Convolutional Neural Network (CNN)

• Thời gian dự kiến: 12:30 ~ 14:00 thứ năm, ngày 8/12/2016

Chủ đề

• Nắm được những khái niệm cơ bản trong Convolutional Neural Networks
• Sử dụng keras để cài đặt Convolutional Neural Network
• Sử dụng thư viện DyNet (Dynamic neural network library) cho các bài toán cơ bản. Thư viện DyNet trước kia có tên gọi là cnn.

Recommended Readings

• Chương 9 - Convolutional Networks, sách Deep Learning.
• Chapter 6, Deep Learning, book "Neural Networks and Deep Learning".
• Part V - Convolutional Neural Networks, book "Deep Learning with Python" (đã upload lên github)
• Convolutional Neural Networks for Visual Recognition, course CS231n.
• Lecture 7 - Convolutional Neural Networks
• Understanding Convolutional Neural Networks for NLP, on WILDML.
• Gihub repo for class CS231n
• Visualizing what ConvNets learn
• UFLDL Tutorial - part Supervised Convolutional Neural Network
• An Intuitive Explanation of Convolutional Neural Networks
• Convolutional Neural Networks for Sentence Classification, by Yoon Kim.
• Understanding Convolutions, by Chris Olah.
• A Sensitivity Analysis of (and Practitioners' Guide to) Convolutional Neural Networks for Sentence Classification
• Conv Nets: A Modular Perspective
• The best explanation of Convolutional Neural Networks on the Internet!
• Crash Course in Convolutional Neural Networks for Machine Learning
• Convolutional Neural Networks (CNNs): An Illustrated Explanation

Thực hành

• Handwritten Digit Recognition using Convolutional Neural Networks in Python with Keras
• Convolutional Neural Networks (LeNet) using Theano
• Convolutional Neural Networks, using Tensorflow

Buổi offline meeting 5: Learning word representations (word2vec algorithm)

• Thời gian dự kiến: 12:30 ~ 14:00 ngày 23/11/2016

Chủ đề

• Đọc hiểu thuật toán word2vec cho việc học word vector
• Thực hành word2vec trên dữ liệu thật. See word2vec exercises.

Recommended Readings

• Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg Corrado, and Jeffrey Dean. Distributed Representations of Words and Phrases and their Compositionality. In Proceedings of NIPS, 2013. http://arxiv.org/pdf/1310.4546.pdf
• Tomas Mikolov, Kai Chen, Greg Corrado, and Jeffrey Dean. Efficient Estimation of Word Representations in Vector Space. In Proceedings of Workshop at ICLR, 2013. http://arxiv.org/pdf/1301.3781.pdf
• Using Neural Networks for Modelling and Representing Natural Languages, tutorial at COLING 2014.
• (Youtube) CS 224D Lecture 2 - Lectures from 2015 , by Richard Socher.
• word2vec Parameter Learning Explained
• Word2Vec Tutorial - The Skip-Gram Model
• Making sense of word2vec
• (Quora) How does word2vec work?
• Goodman et al., 2001. A Bit of Progress in Language Modeling
• (Blog) Deep Learning, NLP, and Representations
• Semantic Word Vectors and Sentiment Analysis

Source codes

• Word2Vec using Theano
• word2vec-keras-in-gensim
• Part 2: Word Vectors, on Kaggle.
• Vector Representations of Words, using TensorFlow.
• Google word2vec, cloned from Goolge word2vec code.
• word2vec in gensim

Buổi offline meeting 4: Thuật toán back propagation để huấn luyện mạng Neural

• Thời gian (dự kiến): 12:30 ~ 14:00 ngày 10/11/2016

Chủ đề

• Học về thuật toán back propagation để huấn luyện mạng Neural (nghe bài giảng của giáo sư Andrew Ng).
• Tìm hiểu cách cài đặt multi-layer perceptron sử dụng Theano và so sánh với các thư viện Keras và scikit-learn.

Recommended Readings

• Week 5, Neural Networks: Learning, by Andrew Ng.
• Keras: Deep Learning library for Theano and TensorFlow
• Develop Your First Neural Network in Python With Keras Step-By-Step
• Neural network models with scikit-learn

Buổi offline meeting 3: Feed-forward Neural Networks

• Thời gian (dự kiến): 12:30 ~ 14:00 ngày 2/11/2016

Chủ đề

• Chủ đề của buổi meeting thứ 3 là mọi người chia sẻ kinh nghiệm khi cài đặt mạng Neural Feed-forward nhiều tầng sử dụng các thư viện Machine Learning phổ biến như: Theano, scikit-learn, tensorflow, cntk, kerras,...
• Ngoài ra chúng ta sẽ cùng nghe các bài giảng về mạng Neural trong các khoá học online và thảo luận các nội dung trong đó.

Các cài đặt sẽ thử nghiệm trên các benchmark data phổ biến:

• MNIST: Dữ liệu nhận dạng chữ viết tay
• Benchmarking data sets cho các thuật toán Deep Learning: http://deeplearning.net/datasets/
• Data sets cho bài toán phân lớp: http://www.is.umk.pl/projects/datasets.html
• Dữ liệu trong các dự án bạn đã/đang làm.

Mục tiêu:

• Giúp mọi người hiểu được ý tưởng cơ bản của feed-forward neural network trước khi đi vào chi tiết khó hơn về thuật toán backpropagation dùng để huấn luyện mạng Neural.

Recommended Readings

• Chapter 6 - Deep Feedforwad Network, Deep Learning book.
• Week 4, Neural Networks: Representation, by Andrew Ng.
• Week 5, Neural Networks: Learning, by Andrew Ng.
• Video lecture 1.1 ~ 2.11 in video list of Hugo Larochelle.
• Chapter 1 and chapter 2, Neural Network and Deep Learning book, by Michael Nielsen.
• Multilayer Perceptron using Theano
• Beginner Tutorial: Neural Nets in Theano
• Practical Guide to implementing Neural Networks in Python (using Theano)

Buổi offline meeting 2: Thuật toán optimization cơ bản, cài đặt thuật toán Perceptron (mạng Neural 1 tầng)

• Thời gian (dự kiến): 12:30 ~ 14:00 ngày 26/10/2016

Chủ đề:

• Hiểu, cài đặt các thuật toán tối ưu cơ bản
  • Gradient Descent
  • Stochastic Gradident Descent (SGD)
  • Mini-batch gradient descent
• Tìm hiểu, cài đặt thuật toán Perceptron (mạng Neural 1 tầng), thử nghiệm trên các tập dữ liệu thực tế.
• So sánh các thuật toán trong bài toán phân lớp, thử nghiệm trên các tập dữ liệu
  • Iris data
  • Sentiment classification data
• Sử dụng Theano

Danh sách tài liệu cần đọc (Readling List)

• An Introduction to Gradient Descent and Linear Regression, by Matt Nedrich.
• Learning with large data sets (video lecture), by Andrew Ng: http://tinyurl.com/jcc4ycv.
• On overview of gradient descent optimization algorithms, by Sebastian Ruder: http://tinyurl.com/zf7aqsd.
• Section 5.9, Stochastic Gradient Descent: http://www.deeplearningbook.org/contents/ml.html
• Stochastic Gradient Descent (SGD) library in scikit-learn: http://scikit-learn.org/stable/modules/sgd.html.
• Theano basic tutorial
• Deep Learning Tutorials using Theano

Buổi offline meeting 1: Cơ bản về Machine Learning và Deep Learning

• Thời gian: 12:30 ~ 14:00 ngày 19/10/2016

Chủ đề:

• Tại sao cần có nhóm học tập về Deep Learning
• Phương thức hoạt động của nhóm
• Cơ bản về Machine Learning
• Một số kiến thức cơ bản về Deep Learning (Deep Learning Vocabulary)
• Thực hành:
  • Cài đặt các thư viện cho tính toán khoa học trong python
  • Sử dụng scikit-learn cho các bài toán học máy

Danh sách các tài liệu cần đọc (Reading List)

• Chapter 5: Machine Learning Basics (deep learning book): http://www.deeplearningbook.org/contents/ml.html
• Lecture notes 1 (Supervised Learning, Discriminative Algorithms), cs229 course, Stanford
• Vocabulary for Deep Learning, by Graham Neubig
• Python Numpy Tutorial
• (Optional) From Machine Learning to Deep Learning on Udacity

Bài thực hành (offline meeting 1)

Cài đặt thuật toán Perceptron. Xem Tutorial của Graham Neubig.