Gandalf der Graue wird beschrieben als alter Mann mit grauen Haaren und einem grauen Bart, buschigen Augenbrauen, sowie dunklen Augen und breiten Schultern. Gandalf trägt einen Stab, einen hohen, spitzen grauen Hut und einen langen grauen Mantel. Die Erscheinung Gandalfs des Weißen wird folgendermaßen beschrieben:
„Sein Haar war weiß wie Schnee in der Sonne, und schimmernd weiß war sein Gewand; die Augen unter den dichten Brauen funkelten und waren durchdringend wie die Strahlen der Sonne; Macht war in seiner Hand.“
— J. R. R. Tolkien: Der Herr der Ringe. Drittes Buch, Fünftes Kapitel: Der Weiße Reiter
Also nach den Filmen hatte Gandalf der Graue einen grauen Hut und als er Gandalf der Weiße wurde trug er genauso wie Saruman keinen Hut.