Kontext ist das wichtigste.
In der Öffentlichkeit sollte man das Wort jedoch meiden, da es auf jeden Fall negativ wahrgenommen wird. Ich würde empfehlen es einfach nicht zu benutzen.
Naja, das N-Wort ist ja auch sonst so oder so ein Tabu-Wort.
Rassistisch? "Nig*er (im afroamerikanischen Englisch auch Nigga, Niggar, Niggah oder Nigguh;[1] in Südstaaten-Aussprache auch Niggra, Nigra und Nighe[2]) ist eine rassistische und äußerst abwertende Bezeichnung für Schwarze."
-Wikipedia
Jup, ist rassistisch.