[Вопрос] Сигмоидная функция при больших значениях

[SSL0]

Привет, тоже пишу свою нейронную сеть, и столкнулся с такой проблемой. Если использовать много нейронов, то веса, какими бы маленькими они не были, умноженные на активацию нейрона, в сумме дают большое число. Я его пытаюсь програть по сигмоидной функции и она в результате дает ровно 1.0. И если обучать, то из-за этого при вычислении производной получается примерно так 1.0 * (1.0 - 1.0), что в результате дает 0, и обучение не идет. Я не могу найти в твоем коде, как ты это решил?

[ArtemOnigiri]

Я с этим не сталкивался. Похоже, какое-то значение случайно уходит в бесконечность

[SSL0]

Да так и происходит, но вопрос я решил. Для последнего слоя стоит применять активационную функцию softMax, чтобы такого не происходило.