Sobre a pergunta, não pq racismo não se trata somente de ofensa, é uma estrutura histórica de opressão contra raças e etnias, então por isso não pesa tanto
Inclusive tem uma coisa que acontece no EUA de chamar de maneira fofa seus filhos de little monkey algo que não funciona bem se a criança for negra e for um branco usando o termo pq dependendo do contexto pode soar rude pq geralmente são os pais da criança que usa esse termo
Da mesma forma que quando alguém te xingar de sei lá de viado você sendo um cis hétero não vai te afetar, no máximo vai agredir sua masculinidade.