Permalink
Browse files

Lecture 10: Adaptive agents

  • Loading branch information...
1 parent 2234ad1 commit 8c6d1b967888948b7aa56627bfc0c1a7aa8b62df @pasky committed Dec 28, 2011
Showing with 33 additions and 3 deletions.
  1. +5 −0 LICENCE
  2. +28 −3 lecA.tex
  3. BIN nornbrain.png
View
@@ -170,3 +170,8 @@ Genetic_Program_Tree.png
http://en.wikipedia.org/wiki/File:Genetic_Program_Tree.png
Public domain
BAxelrod
+
+nornbrain.png
+Human-like artificial creatures, Gentle introduction to Norns
+Citation
+Cyril Brom
View
@@ -45,7 +45,7 @@ \subsection{}
\item Rozpoznávání vs. samoorganizace
\end{itemize}
\end{block}
-\begin{block}{Nemáme trénovací množinu}
+\begin{block}{Nemáme trénovací množinu (i když\dots)}
\begin{itemize}
\item Exploration---exploitation dilemma
\item Zpětnovazebné učení
@@ -57,7 +57,8 @@ \subsection{}
\subsection{}
\begin{frame}{Zpětnovazebné učení}
\begin{center}
-Dnes: Nemáme klasickou trénovací množinu, ale {\bf feedback}. \\
+Dnes: Nemáme klasickou trénovací množinu, \\
+ale {\bf feedback} --- učitelem je prostředí. \\
Data si často musíme shánět ``sami'' průběžně. \\
Jinak řečeno: Agentův {\bf stav} se mění a provádí {\bf akce}.
@@ -207,9 +208,33 @@ \subsection{}
\subsection{}
\begin{frame}{Zpětnovazebné učení v neuronových sítích}
+\begin{columns}
+\begin{column}{4cm}
+\includegraphics[width=4cm]{nornbrain.png}
+
+{\tiny (Brom, 2006)}
+\end{column}
+\begin{column}{8cm}
\begin{itemize}
-\item Adaptivní agenti --- umělé bytosti
+\item Mozek umělé bytosti ``Norn''
+\item Perception: egg, toy, Norn, hunger, sexdrive
+\item Concept: egg + hunger, Norn + sexdrive, \\ toy + egg + sexdrive
+\item Decision: eat, mate, run, play
+\only<1>{
+\item Pomocný okruh pro Attention selection
+\item Chceme podporovat užitečné koncepty a~vázat je na dobré akce
+\item Náhodně inicializované váhy a~zpětná vazba!
+\item Reinforcement záleží na změně {\em pudů} \\ (drives: hlad, sex, \dots)
+}
+\only<2>{
+\item Suspectibility $\alpha$ a~průběžný reinforcement $r$
+\item Vykonání akce zvýší $\alpha$ spojům po cestě, \\ to se s časem opět snižuje
+\item Po snížení váhy k nule synapse migruje
+\item Robustnost: Short-term weight, \\ long-term weight
+}
\end{itemize}
+\end{column}
+\end{columns}
\end{frame}
\subsection{}
View
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit 8c6d1b9

Please sign in to comment.