MeanSquaredError

[skaae]

Jeg tror der er en fejl i MeanSquaredError.

1. Skal bprop ikke være:

delta_out = y-t
delta_out /= y.shape[0]  # divide by num_batches

2. Jeg synes fprop er lidt svær at læse p.g.a. np.mean. Jeg er i tvivl om det korrekte er at normalisere med num_batches eller num_bathces * num_outputs??
   Jeg foreslår:

    def fprop(self, x, t):
        num_batches = x.shape[0]
        cost = 0.5 * (x-t)**2   # samples, num_outputs
        cost = cost.sum(axis=-1)  # sum out outputs
        return cost / num_batches

Orginal

class MeanSquaredLoss():
    def __str__(self): 
        return "MeanSquaredLoss()"

    def fprop(self, x, t):
        num_batches = x.shape[0]
        cost = 0.5 * (x-t)**2 / num_batches
        return np.mean(np.sum(cost, axis=-1))

    def bprop(self, y, t):
        delta_out = y-t
        return delta_out

    def update_params(self):
        pass

[skaae]

Der ser ud til at være samme fejl i crossentropy?

[casperkaae]

Er det ikke mere rigtigt at skalere learningrate med batch_størrelse? Ellers vil cost jo afhænge af batch størrelse når man fx plotter den?

[skaae]

Er det ikke omvendt. Hvis man ikke skallerer med batch størrelse vil cost afhænge af batchstørrelsen.

Der er en fejl i den Mean squared jeg foreslog:

    def fprop(self, x, t):
        num_batches = x.shape[0]
        cost = 0.5 * (x-t)**2   # samples, num_outputs
        cost = cost.sum()  # sum over output and batches
        return cost / num_batches  # divide by batchsize

[casperkaae]

Begge dele er fint syntes jeg

Dit forslag giver vel "per sample cost" - Det er også det der bliver gjort i lasagne, så det er fint syntes jeg

[skaae]

Ok. Vil du copy paste det ind i dit PR? crossentropy er fin udover den er skrevet anderledes.

Du kan evt også cp de forslag som jeg har åbnet issues om? Hvis du er enig.