Du musst zuerst auf dein Profil gehen und dann oben rechts auf die drei Balken klicken.
Danach klickst du auf "Kontoübersicht" und sobald du das getan hast auf "Deine informationen und Berechtigungen"
Ziemlich weit unten müsste dann stehen "Kontake hochladen", und wenn du darauf drückst, sollte "Mit Kontakten verknüpfen" ausgeschaltetet sein.
Um sicher zu gehen kannst du auch noch in die allgemeinen App-Einstellungen gehen, und dort den Zugriff auf deine Kontakte ablehnen! :)