Dass du nicht zu seiner Familie willst, ist dein gutes Recht und es ist doch super, dass er das akzeptiert.
Gleichzeitig wäre es doch schön, wenn du umgekehrt auch verstehen würdest, dass er seine Familie mag und ein Familienfest mit seiner Familie feiern will. Auch wenn du ihm sehr wichtig bist, seine Familie kannst du nicht ersetzen.
Die Priorität hängt natürlich auch ein bisschen von eurer Situation ab. Ich gehe mal davon aus, dass ihr beide noch jung seid und noch nicht allzu lange zusammen. Wenn ihr bereits eigene Kinder habt, mag die Sache anders aussehen.
Statt enttäuscht zu sein, mach dir bewusst einen schönen Tag. Verbring ihn mit deiner Familie, verabrede dich mit Freundinnen, unternimm was oder mach einen gemütlichen Erholungsabend zuhause. Irgendwas, für das du dir sonst selten Zeit nimmst. Dann wird der Tag für euch beide eine positive Sache, und hinterher habt ihr euch was zu erzählen.