Wenn sie alle direkt hintereinander stehen, kannst du sie einfach markieren und alle zusammen löschen.

Oder du gehst in deinem "Explorer" auf den Ordner "Downloads". Dort müsste es einen Ordner mit all deinen Spotify-Downloads geben. Den kannst du dann einfach komplett löschen.