Ich habe tagtäglich mit diesem Thema zu tun. Man spricht ihn mit Graf "Nachname" an, auch in der Anrede eines Briefes. Anschließend wird ER sagen, ob man das Graf weglassen darf - nicht vorher. Auf keinen Fall mit Baron ansprechen! Baron in der Anrede nutzt man meist, um sich bei einem Freiherrn "einzuschmeicheln" oder es ist eh schon Namensbestandteil.