Die Verneinungen don't und doesn't sind die Präsensformen. Also: I don't go. Doesn't benutzt man nur bei der 3. Person Singular, also: he/she/it doesn't go.

Didn't ist die Vergangenheitsform und wird für alle Formen benutzt. I don't go = Ich gehe nicht. He doesn't go = Er geht nicht. He didn't go = Er ging nicht.