Workstation - >32 PCIe Lanes, VT-D, PCIe-Passthrough

[n0s3]

Moin,
langsam wird mir mein aktueller Desktop/Host Rechner zu langsam.
Aktuelle Besetzung:

• Xeon E3-1230v2 auf ASROCK B75 Pro3 mit 28 GB 1600-DDR3 RAM.
• Grafikkarte Sapphire Radeon R9 390 Nitro 8GB und Quadro k600
• Arch@240GB-Crucial
• Win10@128GB-840-Pro-SSD (Als Guest mit der Quadro)
• 1TB Seagate + Networkdrives(2Gbit/s)

Ich würde gerne mein Mainboard, CPU und vielleicht auch RAM upgraden.
Grund sind die fehlenden PCIe Lanes die ich benötige um meine R390 dem Windows guest vollangebunden durch zu'pass'en. Die schlechte implimentierung von den iommu-Groups, ASROCK hat da misst gebaut (Consumer Board), ist auch sehr hinderlich.

Anforderungen:

• VT-D - vernünftige iommu-groups für PCIe-Passthrough support
• Mehr als 32 PCIe lanes, am besten v3.0
• also min. 2x16 PCIe slots (voll angebunden)
• Xeon, siehe PCIe lanes
• 8 RAM Bänke wären gut...
• Budget: <1000€, wäre schön! günstig > Leistung
• Nutzungsdauer: solang es geht... 4+ Jahre.

Use case:

• Linux (immer latest Kernel) als KVM Host
• Windows 10 als guest + PCI-Passthrough zum Spielen.
• Video editing (Adobe Suite CS6, Premiere, AE...)
• Games (A bis Z, Simulationen, Shooter bis hin zu Age2)
• auch mal ein Kernel compile'n
• Matlab (Uni bedingt, und ich rede von 10000*100000 Matrizen)

Natürlich hab ich mich schon etwas informiert, einige Fragen hab ich dennoch:
4 oder 6 Kerner ?
DDR4 oder RAM behalten?
2011 oder 2011-3 Sockel ?
Dual vs Solo Sockel, ein CPU auf dual Sockel?
1620 v2 vs 1620 v3 - Takt vs instructions?
i7-5930K vs E5-1650 v3 ?
Takt vs. Cores?
Neuware oder doch Gebraucht?


ich freue mich über Meinungen!
Am besten wären natürlich eigene Erfahrungen vorallem was die iommu-groups angeht steht so gut wie nie etwas in den Datenblättern. Das kann ich dann aber auch selber recherchieren, wenn ihr mir ein paar Konfigurationen hin werft

Gruß
n0s3

 

[Sir Diablo]

Du weißt schon, dass selbst bei aktuellen Highend GPUs die PCIe Anbindung egal ist. Auf allen halbwegs aktuellen Platformen exisitiert eh nur noch PCIe3.0 und da liegen zwischen 4x und 16x 3% Leistung (wie in den letzten Jahren unzählige Tests gezeigt haben zB. der hier). Das ist vernachlässigbar. Auf meinem i7 4790K laufen aktuell 6 VMs durchgängig, darunter auch ein Win10 mit durchgeschleifter GPU. Bis auf deine Videobearbeitung sehe ich kaum einen Grund für einen 6-8 Kerner, kommt halt darauf an wie oft und in welchem Umfang du das machst.

An deiner Stelle würde ich auf Zen warten (Releastermin Herbst/Winter), da bekommt man sicher deutlich mehr Leistung und Features für sein Geld als zur Zeit. Ich werde auch auf Zen umsteigen, da sich mein Virtualisierungsaufwand noch deutlich steigern wird, ich aber dennoch eine hohe Singlethreadleistung haben möchte (dh. 8 Kerne 4GHz++) und dennoch ECC Speicher, das geht bei Intel zZ nämlich nicht. Viel wichtiger als viele Kerne ist der I/O (also der Storage), und bei dem ist ECC Speicher ein MUST-HAVE.

Kauf dir lieber zwei bis drei ordentliche SSDs und betreibe damit ein schönes ZFS.

€dit:
Deine Fragenliste hat mir mein Browserfenster gerade vorenthalten.

Natürlich hab ich mich schon etwas informiert, einige Fragen hab ich dennoch:
4 oder 6 Kerner ?

Beobachte selbst ob deine Kerne bei dem was du machst ausgelastet sind, diese Frage kannst nur du dir selbst beantworten.

DDR4 oder RAM behalten?

DDR4 bringt ausser etwas weniger Stromverbrauch kaum Vorteile gegenüber DDR3, wichtiger wäre auf ECC Speicher umzusteigen.

2011 oder 2011-3 Sockel ?

Das ist eher eine Frage des Budgets. 2011 ist inzwischen fünf Jahre alt, für 2011-3 werden aktuell noch neue CPUs erscheinen.

Dual vs Solo Sockel, ein CPU auf dual Sockel?

Schau dir mal NUMA an, auch diese Frage kannst du dir nur selbst beantworten.

1620 v2 vs 1620 v3 - Takt vs instructions?

Budgetfrage, Leistungstechnisch geben die beiden CPUs sich so gut wie nix.

i7-5930K vs E5-1650 v3 ?

Den Xeon, weil du mit dem i7 keinen ECC Speicher nutzen kannst.

Takt vs. Cores?

Wenn meine beiden hypotetischen CPUs die selben IPC haben und der eine ist ein 6K/3,3GHz der andere 4K/5GHz fällt meine Wahl immer auf den Quadcore, da hier die Singlethreadleistung deutlich höher ist. Was du brauchst kannst du aber nur selbst herausfinden in dem du beobachtest wie deine Auslastung zZ ist.

Neuware oder doch Gebraucht?

Auf Zen warten und dann neu kaufen.

 

[n0s3]

moin,
und erstmal Danke für die ausgiebige Antwort!

Also du meist ich solle auf Zen warten.

Ich komm mit meine msystem bestimmt auch noch dieses Jahr aus, aber neue Hardware is immer gut ...
Glaube ich werde Ebay bebobachten und wenn da mal ein Schnapper drin ist, das wird der sich gegönnt.
Wird Zen denn wirklich so eine überraschung? mein Letztwer AMD war ein X2 6000+ von 2006.

aber nochmals danke für deine Antwort!!
Gruß

 

[flxmmr]

Was ist denn an den IOMMU-Groups auf dem Board schlecht implementiert? (lspci + iommu_groups im Spoiler ?)

 

[n0s3]

Was ist denn an den IOMMU-Groups auf dem Board schlecht implementiert? (lspci + iommu_groups im Spoiler ?)

Ich kann nicht meinen ersten PCIe Slot durchreichen.
Weil da ein PCI Express Root Port drann hängt.
Im augenblick hab ich die AMD R390 in dem 2. 16x Slot stecken. Dieser ist aber nur mit 4x angebunden was bei den meisten sachen und voll ok ist. Aber da ich eh was neues kaufen will, sollte die neue Hardware dies können.

lspci

Spoiler

00:00.0 Host bridge: Intel Corporation Xeon E3-1200 v2/Ivy Bridge DRAM Controller (rev 09)
00:01.0 PCI bridge: Intel Corporation Xeon E3-1200 v2/3rd Gen Core processor PCI Express Root Port (rev 09)
00:14.0 USB controller: Intel Corporation 7 Series/C210 Series Chipset Family USB xHCI Host Controller (rev 04)
00:16.0 Communication controller: Intel Corporation 7 Series/C210 Series Chipset Family MEI Controller #1 (rev 04)
00:1a.0 USB controller: Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #2 (rev 04)
00:1b.0 Audio device: Intel Corporation 7 Series/C210 Series Chipset Family High Definition Audio Controller (rev 04)
00:1c.0 PCI bridge: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 1 (rev c4)
00:1c.1 PCI bridge: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 2 (rev c4)
00:1c.2 PCI bridge: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 3 (rev c4)
00:1c.4 PCI bridge: Intel Corporation 7 Series/C210 Series Chipset Family PCI Express Root Port 5 (rev c4)
00:1d.0 USB controller: Intel Corporation 7 Series/C210 Series Chipset Family USB Enhanced Host Controller #1 (rev 04)
00:1e.0 PCI bridge: Intel Corporation 82801 PCI Bridge (rev a4)
00:1f.0 ISA bridge: Intel Corporation B75 Express Chipset LPC Controller (rev 04)
00:1f.2 SATA controller: Intel Corporation 7 Series/C210 Series Chipset Family 6-port SATA Controller [AHCI mode] (rev 04)
00:1f.3 SMBus: Intel Corporation 7 Series/C210 Series Chipset Family SMBus Controller (rev 04)
01:00.0 VGA compatible controller: NVIDIA Corporation GK107GL [Quadro K600] (rev a1)
01:00.1 Audio device: NVIDIA Corporation GK107 HDMI Audio Controller (rev a1)
03:00.0 SATA controller: ASMedia Technology Inc. ASM1062 Serial ATA Controller (rev 01)
04:00.0 Ethernet controller: Realtek Semiconductor Co., Ltd. RTL8111/8168/8411 PCI Express Gigabit Ethernet Controller (rev 06)
05:00.0 VGA compatible controller: Advanced Micro Devices, Inc. [AMD/ATI] Hawaii PRO [Radeon R9 290] (rev 80)
05:00.1 Audio device: Advanced Micro Devices, Inc. [AMD/ATI] Device aac8

find /sys/kernel/iommu_groups/ -type l

Spoiler

/sys/kernel/iommu_groups/0/devices/0000:00:00.0
/sys/kernel/iommu_groups/1/devices/0000:00:01.0
/sys/kernel/iommu_groups/1/devices/0000:01:00.0
/sys/kernel/iommu_groups/1/devices/0000:01:00.1
/sys/kernel/iommu_groups/2/devices/0000:00:14.0
/sys/kernel/iommu_groups/3/devices/0000:00:16.0
/sys/kernel/iommu_groups/4/devices/0000:00:1a.0
/sys/kernel/iommu_groups/5/devices/0000:00:1b.0
/sys/kernel/iommu_groups/6/devices/0000:00:1c.0
/sys/kernel/iommu_groups/7/devices/0000:00:1c.1
/sys/kernel/iommu_groups/8/devices/0000:00:1c.2
/sys/kernel/iommu_groups/9/devices/0000:00:1c.4
/sys/kernel/iommu_groups/10/devices/0000:00:1d.0
/sys/kernel/iommu_groups/11/devices/0000:00:1e.0
/sys/kernel/iommu_groups/12/devices/0000:00:1f.0
/sys/kernel/iommu_groups/12/devices/0000:00:1f.2
/sys/kernel/iommu_groups/12/devices/0000:00:1f.3
/sys/kernel/iommu_groups/13/devices/0000:03:00.0
/sys/kernel/iommu_groups/14/devices/0000:04:00.0
/sys/kernel/iommu_groups/15/devices/0000:05:00.0
/sys/kernel/iommu_groups/15/devices/0000:05:00.1

wie aussieht seid ihr ja voll in der Materie, was mach ich denn wenn mein Passthrough via qemu command line geht aber via libvirt (virt-manager) nicht?
Gruß

 

[Sir Diablo]

Da du mit dem PC auch spielen willst achte aber darauf, dass der Xeon auch genügend Takt mitbringt, sonst hast du dort eine Verschlechterung deiner jetzigen Performance.

Schon mal über ben Boardwechsel nachgedacht? Wenn du gebraucht kaufst dürfte das quasi Nulll auf Null rauskommen.

Schau dir mittels ps mal den genauen Aufruf von virt-manager an und Vergleich den mit deinem qemu Befehl, dort müsstest du den Fehler finden können.

Gesendet von meinem A0001 mit der Hardwareluxx App

 

[flxmmr]

Sieht doch alles gut aus, kannst ja sogar den Asmedia-Controller in die VM reichen .

Bezüglich des Rootports: um deine Grafikkarte an die VM weiterzureichen, brauchst du den nicht weiterreichen, es reicht aus, wenn du 01:00:00/01:00:01 (Grafik und HDMI-Audio) weiterreichst – probier das doch mal aus. Die zweite Grafikkarte kann dann halt leider nur noch am Chipsatz hängen und dürfte da wohl wirklich keinen Spaß mehr machen (DMI2 geteilt mit anderen Geräte), allerdings könntest du, weil den kleinen Chipsätzen ACS fehlt sowieso nichts mehr mit den CPU-Lanes anfangen (die dann immer in einer IOMMU-Gruppe sind), als diese in die VM weiterreichen. Ich weiß nicht, welche Performance du unter Linux brauchst, ich würde es aber mal umgekehrt versuchen und die Nvidia-Karte an den Chipsatz hängen.

Grundsätzlich ist es ja bei den kleinen Plattformen so, dass es sich anbietet, die IGP für Linux zu verwenden (ausreichend 3D für den Alltag) und der VM die GPU am CPU-Port weiterzureichen (kann man ja, wenn man die GPU für irgendeine proprietäre Anwendung braucht (Maya, Nuke, Siemens NX ) auch in seinen Redhat-Klon reinreichen). Leider hat dein Xeon keine IGP (und dein Board vmtl. keinen Displayport), sodass das nicht geht.
Sollte es mit der Quadro am Chipsatz gut gehen, würde ich dann also in der Tat auf Zen warten (das wird aber mindestens noch 1½ Jahre dauern, bist man weiß, ob AMDs Boardpartner nicht bei der IOMMU-Umsetzung gepatzt haben/ neue Opterons mit WS-Boards da sind), sonst eben jetzt 2011 oder 2011-3 kaufen – allerdings kannst du die >32 Lanes neu gleich ganz vergessen (da dort die CPU ACS unterstützt, reicht eigentlich auch der "billige" i7 für 400€ mit 28 Lanes, mit PCIe3.0 ohne drumherum reicht das schon x8; mit Board, RAM und neuem Netzteil bist du dann ganz schnell im Budget (oder du nimmst (nicht schneller!) den Xeon für 300 mit ECC und einem WS-Board).
Da ist es aber auch nicht unbedingt sooo trivial, die 2 Grafikkarten zum Laufen zu bringen (solltest du also nicht zuviel Leistung brauchen und sparsam bleiben wollen, würde ich auf einen gebrauchten 12x5v3 mit schönen Board (Displayport!) sidegraden und den RAM mitnehmen ~350€-Erlös der jetzigen Kombo mit Quadro).

 

[n0s3]

Schon mal über ben Boardwechsel nachgedacht? Wenn du gebraucht kaufst dürfte das quasi Nulll auf Null rauskommen.

Ja ich schau schon nach Borads aber es gibt nur wenige, die auch mir einen Mehrwert bringen. Ich vermute, dass es egal ist ob ich jetzt 4x PCIe 3.0 oder 8x PCIe 2.0 nutze. Oder seh ich das falsch? Sonst hast du eine recommendation (S.1155) ?

Schau dir mittels ps mal den genauen Aufruf von virt-manager an und Vergleich den mit deinem qemu Befehl, dort müsstest du den Fehler finden können.

Zur übersicht hab ich mal alle args in einzelne Zeilen geschrieben.
# ps aux | grep qemu-system-x86_64

Spoiler

/usr/sbin/qemu-system-x86_64
-name windowsnew
-S
-machine pc-i440fx-2.5,accel=kvm,usb=off,vmport=off
-cpu IvyBridge,+osxsave,+pcid,+pdcm,+xtpr,+tm2,+est,+smx,+vmx,+ds_cpl,+monitor,+dtes64,+pbe,+tm,+ht,+ss,+acpi,+ds
-drive file=/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd,if=pflash,format=raw,unit=0,readonly=on
-drive file=/var/lib/libvirt/qemu/nvram/windowsnew_VARS.fd,if=pflash,format=raw,unit=1
-m 10240
-realtime mlock=off
-smp 1,maxcpus=4,sockets=1,cores=2,threads=2
-uuid 83d758d7-9863-4276-a523-8478e4ecdea6
-no-user-config
-nodefaults
-chardev socket,id=charmonitor,path=/var/lib/libvirt/qemu/domain-windowsnew/monitor.sock,server,nowait
-mon chardev=charmonitor,id=monitor,mode=control
-rtc base=utc,driftfix=slew -global kvm-pit.lost_tick_policy=discard
-no-hpet
-no-shutdown
-global PIIX4_PM.disable_s3=1
-global PIIX4_PM.disable_s4=1
-boot strict=on
-device ich9-usb-ehci1,id=usb,bus=pci.0,addr=0x6.0x7 -device ich9-usb-uhci1,masterbus=usb.0,firstport=0,bus=pci.0,multifunction=on,addr=0x6
-device ich9-usb-uhci2,masterbus=usb.0,firstport=2,bus=pci.0,addr=0x6.0x1
-device ich9-usb-uhci3,masterbus=usb.0,firstport=4,bus=pci.0,addr=0x6.0x2
-drive file=/dev/sdb,format=raw,if=none,id=drive-ide0-0-0,aio=native
-device ide-hd,bus=ide.0,unit=0,drive=drive-ide0-0-0,id=ide0-0-0,bootindex=1
-netdev tap,fd=25,id=hostnet0
-device e1000,netdev=hostnet0,id=net0,mac=52:54:00:a7:d6:9b,bus=pci.0,addr=0x3
-spice port=5900,addr=127.0.0.1,disable-ticketing,seamless-migration=on
-device qxl-vga,id=video0,ram_size=67108864,vram_size=67108864,vgamem_mb=16,bus=pci.0,addr=0x7
-device ich9-intel-hda,id=sound0,bus=pci.0,addr=0x5
-device hda-duplex,id=sound0-codec0,bus=sound0.0,cad=0
-device usb-host,hostbus=4,hostaddr=3,id=hostdev0
-device usb-host,hostbus=3,hostaddr=4,id=hostdev1
-device vfio-pci,host=05:00.0,id=hostdev2,bus=pci.0,addr=0x2 
-device vfio-pci,host=05:00.1,id=hostdev3,bus=pci.0,addr=0x4
-device virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0xa
-msg timestamp=on

und hier mein qemu command line call:

Spoiler

cp /usr/share/edk2.git/ovmf-x64/OVMF_VARS-pure-efi.fd /tmp/my_vars.fd
sudo qemu-system-x86_64 \
    -enable-kvm \
    -m 10240 \
    -cpu host,kvm=off,check \
    -smp 4,cores=2,threads=2,sockets=1 \
    -vga qxl \
    -device vfio-pci,host=05:00.0 \
    -device vfio-pci,host=05:00.1 \
    -drive if=pflash,format=raw,readonly,file=/usr/share/edk2.git/ovmf-x64/OVMF_CODE-pure-efi.fd \
    -hda /dev/sdb \
    -usb -usbdevice host:1532:0015 \
    -drive if=pflash,format=raw,file=/tmp/my_vars.fd \
    -net nic -net bridge,br=br_onboard

ich bin ein wenig erschlagen von den Args die virt-manager da übergibt.
Aber wies ausschaut fehlt da kvm=off, da es sich um einer AMD GPU handelt sollte das nicht das problem sein. Werde es dennoch manuell in die XML eintragen und testen.
Vielen Danke für den tipp mit 'ps'!!!

Gruß

 

[Sir Diablo]

Also ich nutze q35 und nicht i440fx, kann sein, dass es daran hakt. Auch würde ich bei virt-manager host als CPU einstellen. Bei den Boards musst du halt auf eBay schauen welche 8x/8x anbieten. Z.B. Gigabyte GA-Z77X-D3H oder Asrock Z77 Extreme4.

Ich nehm mal an du setzt zZ arch Linux ein. Das habe ich am Anfang auch gemacht, allerdings war mir das einfach zu umständlich, ich nutz jetzt debian 8 mit proxmox WebGui hinten dran. Das ist echt sehr komfortabel. Da kannst du dich ja mal einlesen:
https://pve.proxmox.com/wiki/Install_Proxmox_VE_on_Debian_Jessie
https://pve.proxmox.com/wiki/Pci_passthrough

Musste selbst etwas recherchieren, wie man da OVMF einbindet, aber ist ganz einfach in der jeweiligen config Datei in /etc/pve/qemu-server/***.conf

Spoiler

args: -cpu host,kvm=off -drive if=pflash,format=raw,readonly,file=/var/lib/vz/images/100/OVMF.fd -drive if=pflash,format=raw,file=/var/lib/vz/images/100/OVMF_VARS.fd
boot: cdn
bootdisk: scsi0
cores: 8
cpu: host
hostpci0: 01:00,x-vga=on,pcie=1
hostpci1: 00:14.0
machine: q35
memory: 20480
name: win10
net0: virtio=26:F5:9A:85:25:61,bridge=vmbr0
numa: 0
onboot: 1
ostype: win8
scsi0: local:100/vm-100-disk-1.raw,discard=on,size=250G
scsi2: proxmox-hp:iso/virtio-win-0.1.102.iso,media=cdrom,size=156988K
scsihw: virtio-scsi-pci
smbios1: uuid=76521a3b-440f-4ccb-980a-8f85d6043e98
sockets: 1
virtio4: proxmox-hp:100/vm-100-disk-1.qcow2,discard=on,size=250G

Um das letzte bisschen CPU Performance zu erreichen nutze ich ein Script, welches der jeweiligen VCPU den jeweiligen PCPU zuweißt, damit erreicht man etwas höhere Cache Hits. Falls du weiter arch einsetzt müsstest du es etwas anpassen.

Spoiler

#!/bin/bash

sleep 5

set -eo pipefail

VMID=100

cpu_tasks() {
expect <<EOF | sed -n 's/^.* CPU .*thread_id=\(.*\)$/\1/p' | tr -d '\r' || true
spawn qm monitor $VMID
expect ">"
send "info cpus\r"
expect ">"
EOF
}

VCPUS=($(cpu_tasks))
VCPU_COUNT="${#VCPUS[@]}"

if [[ $VCPU_COUNT -eq 0 ]]; then
echo "* No VCPUS for VM$VMID"
exit 1
fi

echo "* Detected ${#VCPUS[@]} assigned to VM$VMID..."
echo "* Resetting cpu shield..."

for CPU_INDEX in "${!VCPUS[@]}"
do
CPU_TASK="${VCPUS[$CPU_INDEX]}"
echo "* Assigning $CPU_INDEX to $CPU_TASK..."
taskset -pc "$CPU_INDEX" "$CPU_TASK"
done

 

[flxmmr]

du verwendest aber keine UEFI-Karte :? (mit dem x-vga=on) Von einem Z77-Board mit Aufteilung der CPU-Lanes würde ich stark absehen, da man dort immer manuell das ACS-Patch braucht, dann entweder gleich Haswell-E oder was mit IGP.

Bei Libvirt würde ich auch die Host-Einstellungen für die CPU übernehmen (oder was richtig altes ) – moderne CPUs zu basteln hat bei mir nie geklappt. Außerdem würde ich einfach 4 Kerne emulieren und nicht 2 Kerne a 2 Threads, da würde ich ehrlich gesagt je nach Anwendung die richtig gruselige Performance auch dadrauf schieben (schon mal Cinebench laufen lassen?)

 

[Sir Diablo]

Klar verwende ich eine Karte mit UEFI boot (siehe Sysinfo), sollte aber auch ohne x-vga=on funktionieren, dann eben legacy, ist halt für den theoretisch schnelleren Windowsbootvorgang, ob das wirklich was bringt habe ich aber nie getestet. Einen Patch zu installieren oder viel Geld für eine neue Platform die je nach Anwendungsfall langsamer ist, oder noch deutlich mehr Geld ausgeben, wenn man überall mindestens gleiche Leistung haben möchte ... für mich eine glasklare Sache. Ohne Linuxkenntnisse würde ich abraten (nicht nur vom Kernelpatch), die scheinen beim TE aber vorhanden zu sein. Was für den TE aber am wichtigsten ist vermag ich natürlich nicht zu sagen.

Dennoch würde ich auf Zen warten, die kommende AM4 Platform wird sicher sehr attraktiv, die aktuellen AM3 Boards finde ich ja schon echt hammer, da wird es an Features und Ausstattung kein Downgrade geben. Von AMD war auch die Aussage, dass zunächst die großen CPUs erscheinen, und das noch 2016. (Bezahlbare über-/hochgetaktete 8-Kerner auf bezahlbarer Platform mit ECC Unterstützung... )

 

[flxmmr]

Hm. Mein Hauptproblem mit dem Patch ist eigentlich, dass das jetzt schon länger rumgeistert und vermutlich nie im Mainline-Kernel landen wird – wenn man dann nicht weiß, wie das Patch für zukünftige Versionen anzupassen ist, steht man halt dann u.U. blöd da (das Kernel kompilieren an sich scheint hier ja wirklich kein Problem zu sein, da das auch eine spezifische Anforderung ist).
Könnte man jetzt an jeder Ecke ein Sockel 1155-Board kaufen, wäre das wahrscheinlich trotzdem die vernünftigste Wahl – bekommt man aber für 80€ ein neues B85 mit Displayport kann man dazu auch das jetzige Setup verkaufen und auf einen gebrauchten i5/Xeon/i7 mit IGP sidegraden. (einig sind wir uns ja darin, dass, wenn nicht einfach mehr Leistung nötig wird, ein Plattformwechsel unsinnig teuer ist)

 

[Sir Diablo]

Naja wäre ja jetzt auch maximal 10 Monate mit dem jetzigen Kernel falls morgen ein neuer Kernel released würde mit dem der ACS Patch nicht mehr geht (wogegen eigentlich zZ alles spricht), könnte zumindest ich gut damit leben, hab hier noch Kisten mit 2.6 . Der ACS Patch würde mMn aber auch ein Update bekommen.
Und falls einen doch der Blitz trifft und man warumauchimmer unbedingt was mit dem neuen Kernel machen muss, könnte man immer noch ne VM aufsetzen.

Ich wär auch viel zu Faul jetzt das System komplett umzubauen und nicht viel später nochmal.

Falls ihm die jetzige Leistung prinzipiell ausreicht könnte er jetzt einfach auf 1150 umsteigen mit nem Xeon v3/4 falls man damit die IOMMU Problematik einfach erschlagen kann.


Gesendet von meinem A0001 mit der Hardwareluxx App

 

[flxmmr]

das stimmt natürlich, der Punkt ist halt einfach, dass ein Z77-Board mit 2x8 in gutem Zustand mindestens 100€ kosten wird und man dann noch immer keine offizielle Unterstützung hat. Auf den kleinen Plattformen ist zwar auch bei Haswell der IOMMU-Support an der CPU nicht besser, aber man könnte ein Setup mit IGP + Radeon nutzen (da ist dann die Frage, ob der TE die K600 braucht – von der reinen Performance ist sie nicht so viel besser, als eine HD4600 und für richtige 3D-Anwendungen unter Linux :? (Maya, Siemens NX...)). Eigentlich ist das aber auch hinfällig, wenn die Radeon dann einmal im CPU-Slot funktioniert, glaube ich, dass die K600 vom Chipsatz nicht sooo schlimm gedrosselt wird

 

[n0s3]

Moin,
danke für den Input, muss mir erstmal gedanken dazu machen!

Bezüglich des Rootports: um deine Grafikkarte an die VM weiterzureichen, brauchst du den nicht weiterreichen, es reicht aus, wenn du 01:00:00/01:00:01 (Grafik und HDMI-Audio) weiterreichst – probier das doch mal aus.

Hab ich schon probiert nur leider ein Problem. Wenn ich das so mache, also und nur 01:00:00 & 01:00:01 via vfio-pci durchreiche, bekommt mein Host kein Xorg gestartet. Ich hab ein ganzes Wochenende versucht mein Arch dazu zu bringen als primäre Karte die Quadro im 2. PCIe slot zu benutzen. Und dann aufgegeben, egal wie hart ich die xorg.conf bearbeitet hab er benutzt immer nur die Karte im 1. Slot
Hast ein Tipp?
Wenn ich dem Root Port auch via vfio blockiere startet nach grub garnichts mehr, noch nicht mal ein tty bekomm ich an, musste dann via usbstick chrooten um es wiederherzustellen... das brauch ich erstmal nicht noch einemal, bin gerade am Bachelorarbeit schreiben und ich brauch ein System was läuft... (bleeding edge is ok )


Und im moment läufts ja auch, via qemu und die AMD halt nur via PCIe 2.0 4x, aber fürs Spielen zwischen durch reichts.

Gruß
n0s3!

ps. ich schreib hier bald meine weiteren Schritte rein, also erstmal keine neue Hardware aber die AMD aufm 1. PCIe Slot wäre schon noch was feines!

 

[flxmmr]

Hm, das Problem wird sein, dass die Grafikkarte beim Booten immer initialisiert werden wird, weil das BIOS/UEFI es wohl nicht anders kann. Wenn du alle radeonfb,radeon,flgrx sollte dann der Xserver aber nicht mehr in einer ansehlichen Konfiguration starten?

 

[n0s3]

Moin,
über die Ostertage hatte ich wieder etwas zeit. Ich habe das Problem mit dem PCIe Slot 1 durchreichen gelöst. Falls es jemanden interessiert.
Wie flxmmr anmerkte:

Hm, das Problem wird sein, dass die Grafikkarte beim Booten immer initialisiert werden wird, weil das BIOS/UEFI es wohl nicht anders kann. Wenn du alle radeonfb,radeon,flgrx sollte dann der Xserver aber nicht mehr in einer ansehlichen Konfiguration starten?

lag es wohl an meinem Mainboard und wie es PCIe Grafikkarten initialisiert.
Nun zur Lösung:
In den Bios Settings des ASROCK B75 Pro3 gibt es leider keine Möglichkeit den zweiten PCIe slot als primäre Grafikkarte zu nutzen, er nimmt immer Slot 1.
Einzige Einstellung ist, PCI (nicht express) als primäre Grafikkarte zu nutzen. Über Ostern war ich glücklicherweise bei meinen Eltern und habe in meinem ersten PC (133MHz, mit Turbo!) noch eine PCI Grafikkarte gefunden. Wieder daheim, direkt eingebaut Bios umgestellt, bootet!
Dann VFIO Settings geändert und siehe da, BINGO alles läuft, PCIe Slot 1 kann durch gepassed werden!
VM Grafikperformance hat sich deutlich gesteigert, so knappe 50% nur durch die nun erhöhte Anbindung der Grafikkarte (4x 2.0 -> 16x 3.0).

Bezüglich eines neuen Systems, kann ich jetzt auf Zen warten und schon mal bei Budget anhäufen.

Vielen dank für die Tipps und Anregungen!

peace
n0s3

 

[jdl]

ich freue mich über Meinungen!
Am besten wären natürlich eigene Erfahrungen vorallem was die iommu-groups angeht steht so gut wie nie etwas in den Datenblättern. Das kann ich dann aber auch selber recherchieren, wenn ihr mir ein paar Konfigurationen hin werft

Gruß
n0s3

Wenn das mit VT-d richtig funktionieren soll, dann wird kein Weg an einem Xeon E5 vorbeiführen. Ich habe noch einen alten Xeon E3, bei diesem gibt es noch 16+4 PCIe Lanes der CPU. Diese sind in zwei IOMMU Gruppen aufgeteilt, dazu kommen noch die Lanes des PCHs. Da leider die neuen Xeon E3 das nicht mehr bieten, bleibt nur der Weg zu S2011-3. Da Du auch mehr RAM willst, bietet sich ein SingleSocket Xeon E5 an z.B. so was X10SRA.