Neuer AI-Server

[Hoto]

Bei Neukauf ne flotte Gen 5 (kaum teurer als Gen 4), aber erstmal lass es so. Viel schneller wirds nicht, was auch immer da wirklich bottelnecked, ich bin lokal auf ner guten PCIe 4.0 auch deutlich langsamer, als ich sein sollte beim Laden.

Ja, muss ich mal testen. Notfalls mal mit Codex ein kleines Script zum Messen schreiben, aber an sich zeigt schon ein Kaltstart vs Warmstart Vergleich gut, ob eventuell die m.2 bremst. Wäre halt gut den Start schneller zu kriegen um eventuell zwischen LLMs schneller wechseln zu können. Aber macht auch erst richtig Sinn, wenn KI und alles mal so weit steht und ich dann besser weiß, ob ich das überhaupt wirklich benötige.

RAM ist auch egal solang er schneller ist als PCIe 5.0x16, für dein MoE Offloading.
Mit 48/16gb bekommst KV-Cache und Experts ganz gut in die GPU, musst halt passend einstellen.
Vorteil, du kannst größere Quants der 3xB Klasse verwenden, also Q6K-irgendwas, macht wohl die MoE Quali etwas besser... mehr als 30-40b MoE bekommst halt trotzdem kaum unter.

Ja, will jetzt auch nicht den RAM verpulvern, von dem brauche ich auch etwas für anderen Kram, u.a. auch als schnellen Cache.
Wird sich dann schon zeigen, das wird eh noch Wochen dauern bis alles mal so weit steht, weil ich auch viel Software selbst mit KI erstellen lasse, statt irgendein fertiges Framework zu nehmen. Zum Beispiel steht auch noch gar nicht fest, welche Inferenz Engine ich am Ende nehmen werde. GGUF ist ja nur eine Möglichkeit, gibt ja auch noch andere wie EXL3 oder gar direkt welche optimiert für Blackwell 5000er Karten, die wohl auch die Performance von LLMs erhöhen können. Hab eigentlich nur GGUF bisher genutzt nur mal kurz EXL2 ausprobiert, da war EXL3 noch zu neu und experimentell.

Am Ende will ich den KI-Server für alle möglichen Spielereien nutzen, auch in Videospielen. Gibt ja schon diverse Projekte für unterschiedliche Spiele, die KI einbinden. Für Skyrim, Fallout 4, Starfield (Bethesda Spiele), aber auch für Elite Dangerous, wie ich vor ein paar Tagen erst gesehen habe, Kenshi (wobei ich immer noch nicht weiß ob das überhaupt ein Spiel für mich ist) u.a. Bei solchen KI-Mods ist es besser, wenn man die KI auf einem extra Rechner hat, wenn man keine Cloud KI verwenden will. Und vielleicht auch eigene Experimente mit KI Integration (ja, Neuro Sama hat mich da etwas inspiriert). Aber erst mal muss alles mal stehen, endlich. xD

Spannend wäre das neue Qwen 3.8 Flash Next. ~180b MoE.

unsloth/Qwen3.8-Flash-Next-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Hat als UD-Q2-K-XL halt immer noch 80gb.

Müsste dafür RAM vom NAS in die Workstation stecken damit ich da auf 128gb komme, dann könnte ich das mit der 5090 machen... ist aber nur DDR4 und PCIe Gen 4, also meh...

Das liegt auch noch auf meiner Platte auf meinem Haupt PC, allerdings als Q5_K_M. Kam noch nicht dazu es auszuprobieren, ist aber so lauffähig mit meiner 4090 24GB VRAM und 64GB DDR5 RAM, weil ~51(?)GB nur n-Gram Layer sind, die man auf die SSD packen kann und so nur noch ~128B für das eigentliche LLM übrig bleiben, das passt locker in 88GB.

 

[pwnbert]

Na da bin ich neugierig, das halte ich für blauäugig. Aber wenn dus zum laufen bekommst sag Bescheid, 32/64 hab ich auch, wär schon neugierig. Glaub das aber nicht ganz, dass das so geht.,

 

[Hoto]

Nun, auf r/LocalLLaMA haben es genau so Leute ans Laufen gebracht, teils sogar mit nur 16GB VRAM. Der n-Gram Teil benötigt dabei so wenig Lesezugriff, dass man diese sogar auf einer SATA SSD betreiben könnte, der liest nur wenige MB/s aus dieser.

Hier ein Beispiel:

https://www.reddit.com/r/LocalLLaMA/comments/1wom3fe/qwen_38_flash_next_q4_k_m_130k_context_q8_cache/

Bei mir auf der Platte belegt das Modell selbst in Q5_K_M 51,6 GB + Kontext Fenster, die in VRAM und RAM müssen, die 51GB n-Gram Dateien bleibt auf der SSD. Sehe nicht, warum das Platzmäßig nicht gehen soll. Ich hab auch schon Mistral 4 Small benutzt, was ein 119B Modell ist (60GB in IQ4_XS). Das einzig besondere an Qwen 3.8 Flash Next ist eben die n-Gram Datei.

 

[pwnbert]

Soso, die -ngram mod settings also.
Fühl dich frei hier runter zu tippen, wie man das in llama.cpp richtig macht, damit verdienst dir einen Keks.

 

[Hoto]

Einfach dem bei Reddit verlinkten Github Link folgen?

GitHub - dtm-beep/qwen38-flash-next-mtp-16gb: Run Qwen3.8-Flash-Next (AtomicChat AD-4.27bpw Q4_K_M) with MTP on a llama.cpp box with 16 GB VRAM and 64 GB RAM: build, run flags, verification, measured numbers

Run Qwen3.8-Flash-Next (AtomicChat AD-4.27bpw Q4_K_M) with MTP on a llama.cpp box with 16 GB VRAM and 64 GB RAM: build, run flags, verification, measured numbers - dtm-beep/qwen38-flash-next-mtp-16gb

github.com

Werden sogar einzelne llama.cpp Parameter erklärt.

 

[asm@s24]

Ich denke über eine GB10 nach. Lenovo PGX gibt's im corporate deal ab 4100 CHF. Lieferung im Dezember, was nicht so schlimm wär. Bei den ganzen Preiserhöhungen zuletzt scheint mir das, hm, "günstig". Wenn man es jetzt mit den absurden Preisen für die Gorgon Halos zum Beispiel vergleicht. Der riesen Vorteil dieser GB10 ist wohl, außer der ziemlich starken CPU/GPU, daß das RAM völlig ohne Einschränkungen von beiden genutzt werden kann. Geplant wäre Training in k8s und AI. Dann könnte man auch verschiedene Modelle und Agenten gleichzeitig probieren.
Es hat hier soweit ich das seh noch niemand was zu so einer Kiste zu schreiben gewußt. 🤔

 

[Hoto]

Weit außerhalb meines Budgets.

Ist das wie bei einem Mac so eine unified RAM Kiste bei dem Arbeitsspeicher und GPU sich den RAM teilen? Die sind schon nicht schlecht, aber halt leistungstechnisch dennoch nicht mit einer richtigen NVidia GPU vergleichbar. Kommt aber auch sehr auf das LLM an.

 

[Haldi]

Was für ne Maschine brauch man um Deepseek v4.1 Flash MoE zum laufen zu bekommen?

deepseek-ai/DeepSeek-V4.1-Flash · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

 

[Hoto]

Nun, das Modell ist selbst in ~2bit GGUF immer noch ~265GB groß, obendrauf dann noch das Kontext-Fenster... Eine Maschine mit ~300GB RAM? Das wäre dann aber auch nur ~2bit, also mit einigem Qualitätsverlust, besser wäre ein 4bit Modell, dann sind wir bei ~500GB RAM. 🫠 Wie viel da noch mit MoE Trickserei geht, keine Ahnung. Das ist weit außerhalb meiner Möglichkeiten.

 

[gea]

Deepseek 4.1 Vision Flash wäre auch mein Wunsch für einen OpenSource Inhouse KI Provider auf dem Stand nahe der besten US/China Cloud Angebote - damit eben meine Daten nicht nach USA oder China fließen. Leider reicht da selbst der dickste 18K Euro Apple Mac Studio mit maximalem Speicherausbau von 512 GB (v)RAM wohl noch nicht wirklich.

Ich nutze täglich sowohl Claude wie Deepseek Flash 4.1. Claude v5 empfinde ich noch etwas leistungsfähiger in der Code Analyse und Erstellung. Flash 4.1 ist aber definiv nahe dran und sogar deutlich schneller, dazu viel billiger (10% der Claude Kosten). Ein internes Deepseek v4.1 oder besser, das wär was. Dann kann Amerika seine ultrateueren Rechenzentren samt den Schulden daraus gerne behalten.

Claude meint bis zu 1,5 TB RAM wäre nötig für ein derartiges Modell. Unter 512GB braucht man garnicht anfangen.

 

[asm@s24]

Ist das wie bei einem Mac so eine unified RAM Kiste bei dem Arbeitsspeicher und GPU sich den RAM teilen?

Genau. Hier ist das alles recht gut beschrieben: https://www.xda-developers.com/lenovo-thinkstation-pgx-review/

Die sind schon nicht schlecht, aber halt leistungstechnisch dennoch nicht mit einer richtigen NVidia GPU vergleichbar.

Bei denen ist halt das VRAM der Flaschenhals. Und dann ... die >500 Watt bei einer 5090 ... Da brennt mir hier die Hütte ab.

 

[Hoto]

Genau. Hier ist das alles recht gut beschrieben: https://www.xda-developers.com/lenovo-thinkstation-pgx-review/

Danke. Ja, solche Geräte sind schon durchaus interessant. Sind ja ähnlich wie NVidia Sparks für KI gedacht.

Bei denen ist halt das VRAM der Flaschenhals. Und dann ... die >500 Watt bei einer 5090 ... Da brennt mir hier die Hütte ab.

Haha, ja, wenn es nur KI Nutzung wäre, wäre es egal, da zieht die Grafikkarte nicht so viel Watt, aber beim Training sieht es anders aus. Zwar kann man auch die 5090 Untertakten ohne viel Leistung einzubüßen, aber trotzdem. Allein wegen Nvidias dämlichem Stromstecker wäre mir das zu heikel, auch mit Wireview. Außerdem reicht eine 5090 auch nicht, die hat ja nur 32GB VRAM, damit ist man deutlich mehr limitiert, wenn es um Finetuning geht. Gerade dann dürfte so eine unified Memory Kiste die bessere Lösung sein.

 

[pwnbert]

Es hat hier soweit ich das seh noch niemand was zu so einer Kiste zu schreiben gewußt. 🤔

Zu teuer, zu wenig RAM, zu langsam.
Das schreckt ab. Isses mir nicht wert zum Spielen.

128gb sind freilich eine ganze Menge, jetzt aber auch nicht sooo viel...
Das bekommst mit 4x R9700 / B65/B70 auch hin... gut, da ist der RAM wieder teuer... Zen 3 Eypc Platine würd "nix" kosten, aber der RAM halt... hätte man rechtzeitig kaufen müssen (lol). als DDR4 RDIMM noch geschenkt war.

Gut, so langsam ist der Spark wohl auch nicht, Processing Power sollte schon okay sein und Speicherbandbreite mit 270gb/s ist gegenüber ner 5090 oder blackwell pro halt meh, gegenüber ner R9700 oder B65/B70 aber schon wieder ganz okay (die haben ja auch "nur" 6xx).


Aber interessant isses natürlich schon.
Auch der Stromverbrauch vom Spark ist interessant... überhaupt für so Agentic Zeugs... da muss es ja nicht sooo schnell sein.

Qwen 3.8 Flash Next wäre mega interessant auf sowas...würde als Q2-Q3 wohl passen.

 

[asm@s24]

Sind ja ähnlich wie NVidia Sparks

Ziemlich genau dasselbe, nur OEM von Lenovo.

Zu teuer

Na ja, "billiger" wird's so bald nicht. Oder eher: nie wieder. Grad gelesen, AMD erhöht die Preise.

zu langsam

Im o.g. Review Qwen3-Coder-Next in FP8 mit 25-40 tps. Klingt doch brauchbar.

4x R9700

1200 Watt und die Lüfter >3000/min ... >> Marriage Interference Factor wird untragbar.

... überhaupt für so Agentic Zeugs... da muss es ja nicht sooo schnell sein.

Ja eben, die Kiste soll ja auch noch anderes machen. Hab eine bestellt, irgendwo muß man mal anfangen. Und wenn die Ansprüche steigen, kann man weitere Nodes über die 200 GbE dranhängen.

 

[pwnbert]

Na ja, "billiger" wird's so bald nicht. Oder eher: nie wieder. Grad gelesen, AMD erhöht die Preise.

Allgemeine Trauersituation, ja.
R9700 steigt auch wie Sau, sind schon auf 2200 von 1400. Man ärgert sich.

Im o.g. Review Qwen3-Coder-Next in FP8 mit 25-40 tps. Klingt doch brauchbar.

Ja, im Vergleich halt... aber eh.

1200 Watt und die Lüfter >3000/min ... >> Marriage Interference Factor wird untragbar.

Naja kann man ja gut runter setzen, aber ja. Immer noch >600W.
Scheiß auf Marriage.

Und wenn die Ansprüche steigen, kann man weitere Nodes über die 200 GbE dranhängen.

Joa, das ist nicht blöd. Wird schon.

Bin gespannt, was zahlt man da atm?
Imho war das wieder sowas mit M.2 Ripoff, oder?

Nachtrag:
Rückblickend hätte man so nen Spark im Winter kaufen sollen für ca. 3k... hätte hätte.

 

[asm@s24]

Bin gespannt, was zahlt man da atm?

Für die PGX CHF4150 mit 3-year premier support (so was find ich auch noch nützlich).
Ich verklopp dann meinen 256GB X13-SEM-TF XG5416S, etwas sollte da schon auch noch bei rumkommen. 💰
Hatte bisher Halo im Blick, aber die Strix kosten schon mehr und die Gorgon mindestens die Hälfte drauf. GB10-Systeme scheinen mir da weit leistungsfähiger und vielseitiger.
Ein weiteres Problem außer dem Preis: ist überhaupt was lieferbar? Bei mir heißt es nun Dezember. Ich hoffe noch auf ein kleines Wunder ...

Imho war das wieder sowas mit M.2 Ripoff, oder?

Das sagt mir grad gar nix (auch nicht mit Hilfe von Gemini).

 

[pwnbert]

rip-off englisch vulgo Abzocke

Ist die M.2 dort verlötet oder austauschbar, gibts nen 2. Slot? Hab dafür keine genaueren Infos gefunden, dann aber auch nicht weiter gesucht weil... war mir zu der Zeit zu teuer (auch wenns schlau gewesen wär hehe).

Liegt wsl. auch daran, dass die wirklich guten "kompakten" open-weight LLMs alle erst 206 rausgekommen sind, und das ältere Zeug schon noch eher "meh" war und mich daher nicht so interessiert hat.

Beitrag automatisch zusammengeführt: Montag um 11:27

PS:
Ich glaube, du willst das hier probieren:

unsloth/Qwen3.8-Flash-Next-GGUF · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Wsl. will man damit ein NVFP4, oder?

nvidia/Qwen3.8-Flash-Next-NVFP4 · Hugging Face

We’re on a journey to advance and democratize artificial intelligence through open source and open science.

huggingface.co

Berichte, ich glaube, das könnte geil sein.

 

[asm@s24]

@pwnbert
2. Slot nein (schon ärgerlich), verlötet nein (aber nur 2242). Der Slot kann Gen5 x4, die verbaute SSD ist ggf. nur Gen4.
2TB +800.- ... 4TB +1900.-

 

[pwnbert]

Boah ist 2242/2230 traurig... https://geizhals.at/?cat=hdssd&xf=7...gesize=30&sort=r&promode=true&hloc=at&hloc=de
Naja, 1tb reicht ja eigentlich auch für paar Modelle.

 

[butcher1de]

Habt Ihr als Profis schon Strata auf dem Schirm? https://github.com/niko1221/strata
Beschreibung

 

[asm@s24]

Hm ... nö. Bin aber auch kein Profi.
Wenn ich das richtig verstehe, packen sie genau ein Modell in eine Art Runtime-Version für Windows. Bei mir laufen alle Modelle unter Lx und bald auf arm64. Also ... ist das nicht so interessant. Na ja, auf dem NB vielleicht. So aus Spaß. 🤔

 

[pwnbert]

Ja, ein tl,dr von butcher hätte mich gefreut, kein bock auf paar Stunden YT, schon gar nicht in der Arbeit.

Sieht für mich auch so aus.
Macht aber Sinn, weil das offenbar recht komplex ist bie Qwen Flash Next, weil offenbar SSD, RAM und VRAM genutzt werden und die Konfiguration nicht ganz ohne ist, dass das ideal läuft.
Wsl. hat man dafür eben eine Anwendung gebaut, die einem das Abnimmt.

 

[Hoto]

So einfach ist das nicht. Strata ist gezielt für dieses eine Qwen Modell geschrieben und optimiert. Selbst ein optimiertes llama.cpp kommt nicht mal auf 50% der Token Performance von Strata.

Datenschutzhinweis für Youtube

An dieser Stelle möchten wir Ihnen ein Youtube-Video zeigen. Ihre Daten zu schützen, liegt uns aber am Herzen: Youtube setzt durch das Einbinden und Abspielen Cookies auf ihrem Rechner, mit welchen sie eventuell getracked werden können. Wenn Sie dies zulassen möchten, klicken Sie einfach auf den Play-Button. Das Video wird anschließend geladen und danach abgespielt.

Youtube Videos ab jetzt direkt anzeigen

Video anzeigen

Die unterschiedlichen Grafikkarten kann man nicht miteinander vergleichen, die Online Maschinen waren leider nicht alle gleich bestückt gewesen, manche hatten bessere CPUs, manche schlechtere, ebenso RAM, und das spielt hier natürlich auch eine Rolle. Deswegen schneidet die 5080 hier schlechter ab als die 5070Ti. Auf dem 5090er Setup wollte Strata bei ihm nicht laufen. Er selbst hat wohl nur eine 3060, aber selbst dort macht es einen riesigen Unterschied.

Habt Ihr als Profis schon Strata auf dem Schirm? https://github.com/niko1221/strata
Beschreibung

Auf dem Schirm, ja, ausprobiert aber noch nicht. Verspricht natürlich einiges an Performance.

 

[butcher1de]

<< Hat überhaupt keine Ahnung davon. Ich bin auch über den Fabian darauf gestoßen. Was ich aber nicht gefunden habe, wie gut am Ende das Modell über Strata ist, oder ist das gleich oder minimal schlechter als das Originale Modell?
Da hier Leute sind die sich echt gut mit dem Kram auskennen, dachte ich mir, schaut doch mal ob das der Burner ist. 👍

 

[Hoto]

Wird halt grundsätzlich an der Quantifizierung liegen. Ein Q2 Modell wird halt definitiv spürbare Qualitätseinbußen haben, aber das IQ3_S kommt in den Benchmarks quasi auf BF16 Original Niveau, aber Benchmarks sagen halt noch nichts über die Realität aus, also die normale Nutzung. Aber selbst bei mir mit 24GB VRAM und 64GB ist IQ3_S grenzwertig. Da sind 50GB RAM weg, ohne Context Fenster, also eher IQ3_XXS.

 

[pwnbert]

Jein, hab am Laptop in Jan oft ein Gemma 4 26b als Q2kXL laufen, das ist eigentlich nicht so schlecht, auf jeden Fall viel, viel besser als 12b (Dense) oder E4B, selbst mit Q4 KV.
Müsste das mal testen, wenn zu viel Zeit ist, könnte noch RAM in die Workstation stecken.

Idiese IQS Quants sind wohl aber allgemein nicht so flott. UD-Q3-K-XL wird gefühlt ganz gut laufen, würd ich mal so ausm Bauch schätzen. 90gb hats halt.
Müsste dem NAS RAM klauen (hätte noch mehr kaufen sollen..).