Hast Du mal getestet, ob es ggf. mit Deinem Mainboard zusammenhängt? Ich hatte ein EVGA und ASUS, bei denen beim Bewegen der Maus entsprechende Geräusche (Fiepen) gab.
Gerade wenn es ohne Last schon fiept, würde ich auch andere Komponenten prüfen (Mainboard, Netzteil).
Von daher GPU raus und...