Du kannst mit deinem Handy prinzipiell schon deinen Lautsprecher mit Strom versorgen, allerdings muss dein Handy OTG können. Verwende dazu auch ein passendes OTG-Kabel.
Die idee Batterien zu verwenden ist allerdings besser. Nimm einfach drei AA Zellen in reihe. Damit bekommst du ca. 4,5V, die auf jeden Fall ausreichen.