Les algorithmes sont des processus généralement déterministes, dans le sens ou pour une même initialisation, lancer l’algorithme plusieurs fois donne le même résultat. Les algorithmes stochastiques, faisant appel à une modélisation aléatoire, voir utilisant de l’aléa au cours des itérations. La plupart des modèles sont fondés sur des principes physiques ou biologiques. Les algorithmes abordés sont les suivants :
— L’algorithme de gradient stochastique, qui est un algorithme d’optimisation
— L’algorithme Espérance-Maximisation (EM), qui permet entre autre d’estimer les paramètres d’un mélange de gaussiennes à partir de données. Il n’est pas stochastique à proprement parler, mais repose entièrement sur une modélisation stochatique.
— Plusieurs algorithmes d’échantillonnage de lois de probabilité, notamment en grande dimension (rejet, algorithmes reposant sur des chaînes de Markov, etc). Ces algorithmes d’échantillonnage, combinés à des méthodes de Monte-Carlo, permettent par exemple de calculer des espérances ou des intégrales.