Schreib sowas wie:

Vielen Dank für die Einladung, aber ich denke dass es leider keine gute Idee ist. Du bist sehr sympathisch und wir hatten ein gutes Gespräch, aber ich kann mir leider nicht mehr zwischen uns vorstellen. Ich wünsche dir dennoch für die Zukunft alles Gute

...zur Antwort