Ich vermute mal wild darauf los, dass es sich bei deinen ungebetenen Besuchern um hauwinkelspinnen handeln könnte. Bevor du diese loswerden kannst, musst du die Quelle wo sie herkommen erstmal beseitigen, was du ofensichtlich auch schon ganz gut gemacht hast. Falls die Spinnen jedoch noch andere Wege ins Haus finden, lohnt es sich alle anderen fenster und Türen nochmal zuüberprüfen. Fliegengitter an Fenstern lohnen sich zum beispiel unheimlich, auch weil diese Fliegen, Wespen, mücken und Motten am eindringen ins Haus hindert. Falls dir das nicht zusprich oder du keine möglichkeit hast diese zu installieren, versuche es auch mit Duftbarrieren. Wie viele Insekten sind spinnen empinflich gegenüber vieler Duftkerzen- ölen oder -säckchen. Lavendel eignet sich besonderns. Einfach dort aufstellen wo die Schädlinge eindringen könnten und die sollten in Zukunft draußen bleiben.
So viel zur Prävention. Da die Spinnen jedoch bereits drinnen sind, würde ich vorschlagen, dass du mal nen kleinen handstaubsauger oderso suchst und anfängst aktiv durchs Haus zu suchen und jede Spinne die du findest einsagst. Den beutel dann draußen natürlich leeren, nicht dass die Nachts wieder rauskrabbeln.
Natürlich gibt es auch einen Haufen Chemischer Methoden die loszuwerden, aber die sind nicht sonderlich nachaltig oder empehlenswert - weder für dich noch die Spinnen.
Viel glück die kleinen Biester los zu werden :)