Bias in Neuronalen Netzen?
Hallo,
was ist das Bias in KNNs? Ich versteh irgendwie nicht wofür man das braucht, aber es wird von allen immer berücksichtigt und so. Aber was tut es genau, warum möchte ich ein Bias haben?
1 Antwort
KNN ist eig was anderes aber egal…
Eigentlich ist es doch klar. Die layers mappen linear von input zu output. Die weights skalieren dabei und das bias shifted. Denke an lineare funktionen f(x)=ax+b dann wäre a ein weight und b das bias.
Man kann das bias auch als weight betrachten dass unabhängig vom input ist.
Hier ein beispiel. Nehmen wir an du hast eine layer mit zwei neuronen und folgende inputs zu diesen beuronen x=[0.99, 1.01] und folgende erwünschte outputs y=[-1, 1]. Deine Activation function ist eine step function die alle positiven werte auf 1 mapped und alle alle anderen Werte auf -1. Wie müssen die weights und biases aussehen damit das mapping von x zu y klappt? Hier braucht deine layer offensichtlich ein bias. Folgende weights und biases würden funktionieren
W = [[1, 0], [0, 1]]
b=[-1, -1]
Dann wäre der output bevor der activation function folgender
o=[-0.01, 0.01]
und
f(o)=[-1, 1]=y wie gewünscht