Man weiß jetzt natürlich nicht, wie genau er das meint.
Ich würde es jetzt so lesen, dass es ihm egal ist ob du ihn abholst und er nicht möchte, dass du dir unnötig den Aufwand machst ihn abzuholen, wenn du eigentlich keine Lust drauf hast.
Ausnutzen wäre es, wenn er sich ständig von dir abholen lässt und es als selbstverständlich sieht.
Aber wenn ihr euch zum Essen verabredet habt und es so abgesprochen war, das du ihn abholst, ist es kein Ausnutzen.