Stell dir einfach vor, du würdest dich an einem kalten Tag in Plastikfolie hüllen, die dicht ist. Du würdest immer noch frieren - allerdings auch ersticken, weil die Luft fehlt (das eine hat also mit dem anderen nichts zu tun) und am Ende noch verschimmeln. :)
Mit anderen Worten: Egal, wie dicht das Klebeband ist, es wird dich nicht vor der Kälte schützen.
Und die Hintergründe?
Kälte, wie hier schon gesagt wurde, gibt es gar nicht (es gibt keine Kälte-Energie). Es gibt nur die Abwesenheit von Wärme (wenn sie ganz fehlt, bist du am Temperatur-Nullpunkt). Kälte ist also Nicht-Wärme.
Wenn es nun draußen kälter ist als drinnen, entzieht die kalte Luft außen dem Klebeband seine Wärme: Das Klebeband wird kalt. Und zwar sehr schnell, weil es so dünn ist. Das kalte Klebeband wiederum entzieht der Luft in deinem Zimmer Wärme - die Luft in der Nähe des Klebebands wird ebenfalls kalt. Dazu braucht das Band also gar nicht undicht zu sein.
Weil die Luft sich aber immer ein bisschen bewegt, vor allem dann, wenn Temperaturunterschiede bestehen (warme Luft steigt auf, kalte sinkt ab), breitet die Zone mit weniger Wärme sich aus - du hast also gleich eine ganze Zone relativer Kühle. Das ist es, was du spürst.