Ich hatte auch mal die gleiche Idee und wollte es ohne Smart-Switch machen, habe es am Ende aber bereut. Du unterschätzt sehr leicht wie viele Accounts du hast und wo du dich alles anmelden musst. Ich hatte bei fast allem ein anderes Passwort und 2FA. Ohne die Übertragung vom Samsung Passwort-Manager war das sehr ätzend.
Du kannst auch in den Einstellungen beim übertragen recht detailliert einstellen, was du übertragen willst und was nicht. Ich würde es aus meiner Sicht empfehlen, es zu nutzen.