Mir geht es ähnlich wie dir habe auch Größe 38-40 und einen recht normalen BMI. Das mit der Größe kann aber an verschiedenen Dingen liegen.
Ich kann nur mich selbst als Beispiel nehmen. Ich habe eine recht schmale Tailie, aber in Größe S brauche ich mich nicht reinzuquetschen, dazu sind mein Rücken und meine Schultern vom Training einfach zu breit. Bei Hosen ist es ähnlich. Ich habe lange Beine und recht trainierte Oberschenkel. Natürlich passen mir dann keine 36er Hosen.
Um auf dich zurückzukommen: mach dich los von dem Gedanken, dass alle Frauen XS oder S tragen müssen um hübsch zu sein. Du müsstest ja offensichtlich untergewichtig sein um diese Größen zu tragen, wenn du dich jetzt gerade im Normalgewicht befindest.