Eine USB SOundkarte hat nicht den besten Sound? Es gibt USB-"Soundkarten" (eher Referenzklasse-DACs mit USB-Anschluss) für bis zu 70.000€ !
Du machst das am besten so: Den Pi bitte ausschließlich als digitalen Zuspieler verwenden, keinen Schmarn wie digitale Lautspärkeregelung einbauen, das ist klanglich Mist.
Dann gehst du aus dem Pi in nen guten DAC, z.B. den ODAC (gibts bei Head 'n' HiFi Walter in der Schweiz). Dahinter setzt du dann ne Vorstufe, da gibts hier mMn die P/L-besten Selbstbaumodule: http://www.thel-audioworld.de/module/Module.htm#Sig
Da würde ich dann auf ne Lautstärkeregelung mit Drehimpulsgeber und 256 oder 384 Relaisgesteuerten Lautstärkestufen setzen, gibt im Netz dazu genug Bauvorschläge.
Du könntest als DAC auch auf Selbstbau setzen, da gibts für um die 300-400€ sehr gute Platinen, weiß nur grade nicht mehr wo, frag am besten mal im HiFi-Forum Selbstbau-Bereich nach.
Wenn du nämlich den DAC und die Vorstufe als Selbstbau machst, kannst du die mitsamt dem Pi in ein Gehäuse packen und hast quasi einen Zuspieler mit eingebauter Vorstufe, da fehlen dann nur noch weitere Eingänge für z.B. nen Fernseher per optischem Eingang oder nem analogen Eingang für nen Plattenspieler.
Dann noch ne Endstufe dran (gibt gute Bausätze bei Thel-Audioworld, aber auch die sehr guten B&O Ice-Amp Bausätze bei Quint Audio) und du hast ein super Selbstbau-System, was wohl die meisten Anlagen bis ~5000€ an die Wand spielen sollte.
Zumindest wenn die LS gut sind und der Raum auch was taugt ;)