Course at Pfingstakademie 2018
Switch branches/tags
Nothing to show
Clone or download
Fetching latest commit…
Cannot retrieve the latest commit at this time.
Permalink
Failed to load latest commit information.
data
.gitignore
Izhikevich Neuron Model.ipynb
Machine Learning Intro.ipynb
Neural Networks.ipynb
README.md
_config.yml

README.md

Learning in Brains and Machines

Workshop at CdE Pfingstakademie, Mai 18 - 21, 2018

About the Course

Das Forschungsfeld der Künstlichen Intelligenz hat durch das Trainieren von tiefen künstlichen neuronalen Netzen auf großen Datensätzen in den letzten Jahren einen massiven Aufschwung erlebt. Die Idee hinter solchen Algorithmen ist nicht neu: Schon in den 1950ern Jahren kamen erste Ideen zum Bau komplexer, lernfähiger Algorithmen aus "künstlichen Neuronen" zustande, vor allem motiviert durch Fortschritte in den Neurowissenschaften. Ungeachtet dieser initialen Motivation haben sich beide Felder thematisch aktuell wieder voneinander entfernt.

Unser Kurs wird ein "Journal Club", bei dem jeder die Möglichkeit erhält, sich mit einem Teilaspekt aus den Neurowissenschaften, Machine Learning und Statistischer Lerntheorie im Vorfeld näher auseinanderzusetzen. Am Besten funktioniert das in einer diversen Gruppe, daher solltet ihr entweder Vorkenntnisse in Mathematik, Physik, Informatik oder Machine Learning mitbringen, oder aber biologisches und medizinisches Vorwissen aus Neurowissenschaften, Physiologie des Gehirns oder Neurologie haben. Programmiererfahrung in Matlab oder Python ist ein Plus, weil wir ggf. ein paar Beispiele implementieren werden! Ziel ist es, der Frage auf den Grund zu gehen, mit welchen Lernalgorithmen biologische Gehirne arbeiten und welche Gemeinsamkeiten es zu aktuellen Ansätzen im Machine Learning gibt.

Workshop Day 1 - Saturday, Mai 19

Session 1: Einführung in Künstliche und Biologische Neuronen

  • Artificial and Biological Neurons
  • Hodkin-Huxley, Leaky Integrate and Fire, Izhikevich Models
  • A simple artificial neural network: The Perceptron algorithm

Session 2: Lernregeln in Biologischen und Künstlichen Neuronalen Netzen

  • Backpropagation [Hinton1986]
  • Spike Time Dependent Plasticity (STDP)

Session 3: Reservoir Computing, Spiking Neural Networks, Echo-State-Machines

  • Echo State Machines [Jaeger2010]
  • Introduction to Neuromorphic Computing

Session 4: Deep Learning

  • Overview of Deep Learning [LeCun2015]
  • Gaps between Brains and Machines: Adversarial Examples [Papernot2016]

Session 5, Part I: Integration of Deep Learning and Neuroscience?

  • Toward an Integration of Deep Learning and Neuroscience [Marblestone2016]
  • Deep Neural Networks: A New Framework for Modeling Biological Vision and Brain Information Processing [Kriegeskorte2015]

Hands-On Session

Workshop Day 2 - Sunday, Mai 20

Session 5, Part II: Integration of Deep Learning and Neuroscience? Diskussion.

  • Toward an Integration of Deep Learning and Neuroscience [Marblestone2016]
  • Deep Neural Networks: A New Framework for Modeling Biological Vision and Brain Information Processing [Kriegeskorte2015]

Session 6: Predictive Processing - The Bayesian Brain?

  • The free-energy principle: a unified brain theory? [Friston2010]
  • Chapter 10: Approximate Inference [Bishop2006]

Contact

If you have any questions about the material for this course, do not hesitate to contact me.