Also vorab: Die 100k sagen gar nichts über irgendeinen Ping aus. Kannst auch mit ner 3k-Leitung nen sehr guten Ping haben.
Was du jetzt prüfen könntest ist folgendes: Geh mal in deinen Router und schau dir die DSL-Informationen an (so heißt das zumindest bei der Fritz.Box) und dort steht, welche Leitung bei dir in Sende- und Empfangsrichtung anliegt. Unter anderem findest du dort einen Wert zur Latenz. Diese sollte im Normalfall sehr niedrig sein, denn das ist deine Anbindung zu deiner Internetleitung, also die, die direkt ohne Umwege erst einmal in deinen Router reingeht.
Ist dieser Wert gering, kannst du zum nächsten Test fortfahren und mal an deinem PC den Ping testen. Öffne dazu am Besten mal die Eingabeaufforderung (bei Windows ist das Windows-Taste + R und dann cmd eingeben und Enter drücken). Dort gibst du jetzt z.B. ein "ping www.google.de" (ohne " "). Enter drücken und dann wird ein Ping-Test zu der Seite durchgeführt. Der dann angegebene Mittelwert ist dann dein Ping zu der Seite. Dieser sollte im Normalfall jetzt nicht über 100ms betragen.
Sollte dort beim Ping alles OK sein, kann es eigentlich nur noch an deiner XBOX liegen. Eventuell dort noch einmal in den Einstellungen nachschauen oder es kann auch sein, dass du noch einen Port am Router für das jeweilige Spiel freigeben musst, damit die Leitung ungehindert durchgeleitet werden kann.