Du solltest auf jeden fall ehrlich sein. Du könntest vielleicht sowas sagen.

"Ich finde dich ganz sympathisch, aber ich glaube nicht, dass wir zueinander passen."