Nein, es ist nicht rassistisch.
Die Debatte zu der Thematik ist ehrlich gesagt auch ziemlich ermüdend, weil es ironischerweise eigentlich ziemlich rassistisch ist mit dem Wort "schwarz" sofort die Hautfarbe in Verbindung zu bringen und gleichzeitig sofort was Negatives zu sehen.
Die Farbe Schwarz ist im westlichen Raum generell mit Trauer und Tod verbunden, was an der christlichen Prägung liegt, weil schwarz eben eine liturgische Farbe für den Tod ist.
An der Aussage von grade merkt man vielleicht auch, dass es wortwörtlich um die Farbe geht und schwarz ist nun mal auch assoziiert mit Dunkelheit, dem Ungewissen, der vollständigen Abwesenheit von Licht, Zwielichtigem etc.
Im Fall von Schwarzfahren kommt das Wort ja lustigerweise nicht mal von der Farbe, sondern aus dem jiddischen, wo das Wort ähnlich geschrieben und ausgesprochen wird, aber schlicht und ergreifen "arm" heißt. Wer arm ist leistet sich keine Fahrkarte und fährt folglich schwarz.
Der schwarze Tag hat auch mit der oben erwähnten Bedeutung von Trauer und Tod zu tun.
Nur weil aufgrund von menschlicher Faulheit, Simplifizierung und der Umgehung rassistischer Begriffe das Wort Schwarz mittlerweile auch fälschlicherweise für ein eigentlich sehr großes Spektrum an Hautfarben benutzt wird, macht es das also nicht automatisch rassistisch in jedem anderem Kontext.
Funfact: Übersetze mal "Schwarzer" direkt ins Spanische. Da ist der Begriff nämlich auf einen Schlag ganz schnell rassistisch, weil die wörtliche Übersetzung sich eben als Schimpfwort etabliert hat. Ist in englischen Foren jedenfalls immer wieder unterhaltsam US-Amerikaner zu sehen, die sich über Dinge wie die "porta nigra" künstlich aufregen, oder schwarze Wachsmalstifte beschriftet in der Landessprache.
Gleiches Spiel wie mit dem schwarzen Tag oder Schwarzfahren: Zu viel in die falsche Wortbedeutung reininterpretiert.