Wohnst du allein? Es kann sein, dass Mitbewohner die Leitung "belasten" und damit deine Latenz nach oben ziehen. Ansonsten würd ich, wie Alexandros2010 schon gesagt hat einfach mal alle Programme außer WoW ausschalten. Eventuell wird im Hintergrund auch ein Programm (Teamspeak, Antivirenprogramm) patchen. Auch das kann unter Umständen deine Latenz beeinflussen.