Die Herausforderungen waren (früher™) in der Tat Tastatur, Maus und Sound. Ich hab damals bei meinem virtualisierten all-in-one-Server-inklusive-Gamer das über separate USB-Karte/n gelöst, die ich komplett per PCIE-Passthrough indie jeweilige VM gehängt hatte. Dann brauchte man halt zu Tastatur und Maus nur noch eine USB-Sound-Lösung und die wesentliche Peripherie stand. =) Ohne diesen "Umweg" ließen sich manche USB-Geräte damals mit ESXi einfach nicht so richtig gut in einer VM nutzbar machen.
Das scheint aber mit KVM z.B. inzwischen einfacher zu gehen (bzw. "einfach so"), so dass es diese Klimmzüge nicht mehr erfordert. Wäre ja schön.