Moin steffi025,
du sagst du bist kein so direkter Mensch, ich kann dir aber nur dazu raten, ihm zu sagen, was Sache ist. Es ist immer wichtig bei so etwas mit offenen Karten zu spielen, würdest du nicht auch wissen wollen, wenn du in seiner Position wärst, ob es nur Spaß ist oder mehr? Gerade weil du so "nett" zu ihm bist, obwohl du eigentlich keinen Bock hast, macht er sich jetzt Hoffnungen. Sag ihm wie es ist, dann meldet er sich nicht mehr =) in diesem Fall ist Ehrlichkeit das Beste vor allem zu dir selbst und ihm.
Just my 2 cents!