Hast Du denn schon eine andere Stelle? Das würde es einfacher machen.
Ansonsten immer freundlich für das Angebot bedanken und ruhig ehrlich sein, dass Du es Dir nach reiflicher Überlegung nun doch nicht vorstellen kannst, für das Unternehmen zu arbeiten, da Dir die Rahmenbedingungen nicht zusagen.
Auf die Entfernung würde ihc mich nicht beziehen, weil Du das ja bereits wusstest, als Du Dich beworben hast.