Gerade nachgelesen, scheint beim X11DPU im BIOS konfigurierbar zu sein, entweder MM (Memory-Mode) oder AD (AppDirect Mode). Die 2,5" PCIe-Adapter und der CH341 liegen aktuell vor der Haustür, morgen Nacht komme ich wieder heim... *fingerkribbel*
www.hardwareluxx.de
Gerade nachgelesen, scheint beim X11DPU im BIOS konfigurierbar zu sein, entweder MM (Memory-Mode) oder AD (AppDirect Mode). Die 2,5" PCIe-Adapter und der CH341 liegen aktuell vor der Haustür, morgen Nacht komme ich wieder heim... *fingerkribbel*
www.hardwareluxx.de
Melde gehorsam: AI-Server up and running.
tl,dr:
llama.cpp etwas... naja, FOSS halt. Rest ebenso, aber harmlos.
Ich bin bisher in keine AMD/ROCm spezifischen Probleme gelaufen.
Die Gigabyte Ai Top R9700 Ai-Pro 32gb ist verhältnismäßig gut.
Das Backplate ist thermisch gut gekoppelt, wird sau heiß, ein guter Airflow ist sicher sinnvoll (werd mir irgend ne Zusatzlüfterhalterung basteln oder so ein Seitenblowhole wie in den 2010er Jahren verwenden (je nach Gehäuse), mal sehn. Die Karte selbst wird überschaubar laut, den Aifflow hört man deutlich, die Abluft hinterm PC wird richtig gut warm, das Lüftergeäusch selbst halte ich für äußerst angenehm (zumindest für diese Bauart, ich bin positiv überrascht und etwas erleichtert).
Verbrauch peakt gut, Idle ist okay (muss erst Tests machen, inwiefern sich das "ready-idle" auswirkt).
MC12LE0, 5650G, 2x32gb DDR4 3200 UDIMM ECC, WD-SN700+Micron-´7400-pro, USB 2.5 GbE NIC.
System ohne GPU liegt bei ca. 22-24W (je nach dem, mich wundert, dass die Micron nicht mehr Impact gemacht hat, auf den vorherigen Messungen), die GPU selbst macht im Full-Idle 2W, wie das mit geladenen ROCm Treibern ist, finden wir noch raus.
Die Backendfrage ist etwas übel, ob nun llama-cpp oder ollama zu verwenden ist, ich weiss nicht, ollama ist kompatibler mit Open-Web-UI dafür mir sonst eher unsympathisch.
Ich werds mal mit llama-cpp probieren, habs im eigenen lxc.
Ich werd gelegentlich ein lxc mit ollama installieren, in open-web-ui lassen sich beide backends eintragen (ollama und open-ai).
Müsste so machbar sein, dass man wechseln kann.
Zur Config der LCX dann später mehr, bei Bedarf.
In LXC 100 priviligiert läuft llama-cpp ohne Docker, im Router-Mode (etwas tricky, da qwen 3.6-27b den irgendwie erst nicht kannte, obwohl ich gepromptet habe, nach aktuellen Quellen und Versionen zu prüfen).
In LXC 102 unpriviligiert (101 für ollama frei) läuft Docker (Dockhand, anderer Port als der 3000er Standard, da den 3000er auch Open-Web-UI will und ich kein Bock hab den abweichend zu allen Tutorials etc. zu haben) mit Open-Web-UI, SearNXG, Playwright (und was dann sonst noch so dazu kommt).
Speziell "druchgereicht" hab ich nix, die /lxc/100.conf sieht so aus, imho ist das ja kein echter Gerätepassthrough sondern einfach eine Weitergabe der Schnittstelle(?):
Code:
# --- GPU Passthrough R9700 ---
# --- ZFS Storage Mounts ---
arch: amd64
cores: 4
dev0: /dev/kfd
dev1: /dev/dri/renderD128
features: nesting=1,keyctl=1
hostname: llamacpp
memory: 16384
mp0: /mnt/ai-models,mp=/mnt/ai-models
net0: # (yours)
ostype: ubuntu # (bei der igpu hatte ich debian, ai hat diesmal ubuntu vorgeschlagen...)
rootfs: local-zfs:subvol-100-disk-0,size=64G
swap: 0
Jetzt muss ich mich mal drum kümmern, wie das so aussieht mit llama-cpp und den special Funktionen, also SWA, Flash-Attn usw., ich will ja ein ordentliches Kontext-Fenster nutzen können. MTP und sowas ist dann nochmal ein Thema, brrr, da kommt noch was.
Speziell auch, wie man das pro Modell einstellen kann, so dass das alles irgendwie funktioniert.
Unter Jan.Ai (mit llama-cpp Backend) am Desktop läuft das alles 1A, wie das mit llama-cpp Server und Open-Web-UI zusammenspielt, mh... hab aber gesehen, dass llama-cpp auch die ollama Schnittstelle beherrschen sollte...
Die Sache wird wsl. noch ziemlich zeitaufwendig, wenn jemand was dazu beitragen kann, gern.
Achja, das wichtiste, die Leistung.
Qwen-4-12b macht mir aktuell 50 t/s auf der R9700, die 5090 mit jan-ai (unter Win10 auf der Workstation) macht mir 88 t/s (ne 1000W Kurzgeschichte schreiben lassen). Ist (leider / zum Glück) im erwarteten Bereich. Wie sich das mit den größeren Modellen und mit vollem Kontext verhält, wird man sehen.
Momentan juckt es mich Nr2. dazu zu kaufen...
Ist halt blöd, weil man damit keinen "Klassensprung" von 30b nach 100b macht/machen kann, allerdings hätte man damit "endlox Kontext"... schneller wirds halt au ch nicht.
Offen auch noch die Frage, ob die Karte wie geplant auf Chipset-Lanes vom B550 läuft (PCIe 3.0x1 und PCIe 3.0x1 hätte ich am Riptide dafür frei und geplant).
Testen kann ich das am MC12 nicht, weil alle PCIe Slots CPU sind (auch der x4, statt der M.2), evtl. teste ich das mit M.2 Adapter (wäre auch gleich ein Test, wie sich Proxmox mit kaputtem Mirror und dessen rebuild verhält).
Vielleicht mach ich das. M.2 => PCIe Adapter hab ich hier um im NAS den 9400-16i HBA an den M.2 der CPU zu hängen, da PCIe Passthrough mit den Chipset-Lanes vom B550 nicht funktioniert (also funktioniert schon, aber mit bösen Nebenwirkungen, beim Passthrough werden SATA und USB Controller des Chipsatzes abgeschossen bis zum reboot).
.
