Skip to content
Browse files

some modifications in the report

  • Loading branch information...
1 parent cdf6b51 commit 48eb47a63589a8ebc925bd9598e0c89d0343e26b Lucas Pizzagalli committed May 3, 2012
Showing with 4 additions and 4 deletions.
  1. +4 −4 TP02/TPE2/doc/informePS.tex
View
8 TP02/TPE2/doc/informePS.tex
@@ -60,13 +60,13 @@ \section*{Desarrollo y Problemas encontrados}
\label{fig:input2}
\end{figure}
- Un tema a destacar es la utilización de la función de activación $g(x) = tanh(ax)$ en la última capa, sucede que el intervalo de salida de la función dada pertenece al $(0,1)$ por ende se dedujo que sería mas apropiado poner una función \textit{exponencial} o \textit{lineal} en la última capa, a comparación de la función \textit{tangencial} que tiene su imágen en el intervalo $(-1,1)$. \\
+ Un tema a destacar es la utilización de la función de activación $g(x) = tanh(\beta x)$ en la última capa. Sucede que el intervalo de salida de la función dada pertenece al $(0,1)$ por ende se dedujo que sería más apropiado poner una función \textit{exponencial} o \textit{lineal} en la última capa, a comparación de la función \textit{tangencial} que tiene su imagen en el intervalo $(-1,1)$. \\
Los pesos iniciales se generan de forma aleatoria en el intervalo $[-0.5,0.5]$. Por último, es necesario mencionar que el orden en que se le dan los patrones a la red durante el entrenamiento es aleatorio.
\section*{Resultados y Conclusiones}
- Para el $\eta-adaptativo$ se realizaron muchas variantes de los parámetros para ir ajustando los valores. Estos valores no son presentados en el informe ya que se deciden en función de la performance y comportamiento de la red. La variable de incremente del $\eta$ es fija, esto quiere decir que se incrementa en $0.01$ cada vez que sea necesario y se decrementa en un $5\%$ del valor del $\eta$ actual. Para el \textit{Momentum}, luego de probar distintos valores, se tomó el mejor valor como $\alpha = 0.1$. \\
+ Para el $\eta-adaptativo$ se realizaron muchas variantes de los parámetros para ir ajustando los valores. Estos valores no son presentados en el informe ya que se deciden en función de la performance y comportamiento de la red. La variable de incremente del $\eta$ es fija, esto quiere decir que se incrementa en $1\%$ cada vez que sea necesario y se decrementa en un $5\%$ del valor del $\eta$ actual. Para el \textit{Momentum}, luego de probar distintos valores, se tomó el mejor valor como $\alpha = 0.1$. \\
Para comparar la red entre distintas arquitecturas, se le enseña a la red con los mismos pesos iniciales y en un lapso de tiempo de $350$ épocas. Se consideran en todas las arquitecturas $2$ neuronas de entradas y $1$ de salida.\\
\begin{table}[h]
@@ -95,9 +95,9 @@ \section*{Resultados y Conclusiones}
\end{table}
Las arquitecturas mostradas en la tabla \ref{t:arquis} poseen en las capas ocultas la función de activación \textit{exponencial} y en la última capa tiene configurado para utilizar una función de activación \textit{lineal}. La función de activación \textit{exponencial} es configurada con un $\beta = 2$, este valor se obtuvo mediante pruebas y verificando la performance de la red. \\
- La configuración de la fila 1 de la tabla \ref{t:arquis}, se observa que es la red con menor error de entrenamiento obtenido. Sucede que ese error de entrenamiento no nos garantiza nada concreto. Por lo tanto analizar la figura \ref{fig:errorEsperadoReal} debería ser lo mas adecuado. En la figura \ref{fig:errorEsperadoReal} podemos apreciar que la red tiende a aprender ya que cada vez el conjunto de valores esperados en función de los valores de salida obtenidos se asimilan mas a una recta. De todos modos se aprécia que al cabo de $350$ épocas existen algunos patrones que aún no fueron aprendidos, en particular los patrones de los picos de la función. Una forma de mejorar el aprendizaje es modificando los puntos de tal forma de que haya mas condensación de puntos de entrenamiento en los picos. Al cabo de $350$ épocas se obtiene un error de entrenamiento aproximado a $0.0363352$.\\
+ La configuración de la fila 1 de la tabla \ref{t:arquis}, se observa que es la red con menor error de entrenamiento obtenido. Con el objetivo de visualizar mejor que representa dicho error, se ha generado la figura \ref{fig:errorEsperadoReal}. En dicha figura, se puede apreciar que la red ha aprendido bastante ya que la relación entre valor esperado y valor obtenido por la red se asemejan mucho en la mayoría de los casos, ya que la figura es muy similar a una recta (la recta es el caso ideal, en el que los datos obtenidos son iguales a los reales) . De todos modos se aprecia que al cabo de $350$ épocas existen algunos patrones que aún no fueron aprendidos, en particular los patrones de los picos de la función. Una forma de mejorar el aprendizaje es modificando los puntos de tal forma de que haya mas condensación de puntos de entrenamiento en los picos. Al cabo de $350$ épocas se obtiene un error de entrenamiento aproximado a $0.0363352$.\\
- En la figura \ref{fig:errorsByEpochs} puede verse como evolucionan los errores. Se puede ver como al principio el error de los patrones de testeo es menor a los patrones de entrenamiento. Esto se debe a que todavía la red no ajustó los pesos lo suficiente. Una vez que la red aprende lo suficiente se ve como el error de entrenamiento desciende por debajo del error de testeo.\\
+ En la fisgura \ref{fig:errorsByEpochs} puede verse como evolucionan los errores. Se puede ver como al principio el error de los patrones de testeo es menor a los patrones de entrenamiento. Esto se debe a que todavía la red no ajustó los pesos lo suficiente. Una vez que la red aprende lo suficiente se ve como el error de entrenamiento desciende por debajo del error de testeo.\\
\begin{table}
\begin{center}

0 comments on commit 48eb47a

Please sign in to comment.
Something went wrong with that request. Please try again.