Würde ein native speaker einem einen Strick draus drehen, wenn man statt "used to/would" klassisches Simple Past nutzte? ?

Nein. Obwohl… vielleicht, 1. weil es einfach „zu lange“ dauert noch zu erwähnen, dass man es heute nicht mehr macht und 2. weil z.B. „I used to play with my dolls“ heißt ja auch, dass man es öfter bzw. regelmäßig gemacht hat, während „I played with my dolls (as/when I was - a child)“ auch bedeuten kann, dass man es 1 Mal irgendwann gemacht hat und man nicht weiß wie es dann weiterging.