Meistens ist es so, dass Menschen "hartnäckig" sind und wenn sie etwas wollen, das erste nein nicht akzeptieren. Die Person die ein nein äußert empfindet es dann natürlich als störend und nervig.
Ich finde du solltest entweder deine Beweggründe für ein nein mit dazu äußern beziehungsweise mit dazu ergänzen. Damit die andere Person auch in der Lage ist, zu verstehen wieso du nicht möchtest.
Außerdem würde ich der Person klar machen, meine Antwort zu respektieren und akzeptieren, da sie sicherlich dasselbe verlangt, bei jeder Entscheidung die sie tätigt.