Laut Dokumentation von Android :
,,Allows an application to initiate a phone call without going through the Dialer user interface for the user to confirm the call".
Protection level: dangerous
(Quelle: https://developer.android.com/reference/android/Manifest.permission.html#CALL_PHONE)
Das bedeutet übersetzt, er kann Telefonanrufe ausführen ohne dafür die bekannte Oberfläche dafür aufzurufen. Das hat nichts mit Zugriff auf deine Kontakte zu tun, dafür gibt es eine andere Abfrage. Ich würde dir raten diese Berechtigung abzulehnen, du kannst sie Notfalls in deinen Optionen wieder einschalten.