Qwen4-Max: 2,4 Billionen Parameter, aber nur ein Teil ist aktiv

HWL News Bot

News
Newsbot
Thread Starter
Mitglied seit
06.03.2017
Beiträge
125.886
Alibaba hat am Montagabend mit Qwen4-Max ein neues Spitzenmodell seiner KI-Familie vorgestellt. Wie der Vorgänger Qwen3.8-Max umfasst dieses insgesamt 2,4 Billionen Parameter, aktiviert davon jedoch nur 71 Milliarden pro verarbeitetem Token, was 25 % weniger als beim Vorgänger ist. In einem hauseigenen Test sollen zudem die Kosten pro Aufgabe deutlich gesunken sein.
... weiterlesen
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Mal eine frage, wo kann ich mir sowas runterladen um loka laufen zu lassen? Vor allem code erzeugen und dergleichen. Bei meinen linux problemen hat mir gemini massiv weitergeholfen
 
Hmmm also bezahlen glaube ich lohnt sich eher nicht für Qwen 4 Max auch wenn das sicher besser ist als 3.8
Beitrag automatisch zusammengeführt:

Mal eine frage, wo kann ich mir sowas runterladen um loka laufen zu lassen? Vor allem code erzeugen und dergleichen. Bei meinen linux problemen hat mir gemini massiv weitergeholfen
Naja die entsprechende Hardware muss halt vorhanden sein, also ~ Grafikkarte ab 12 Gbyte damit man lokale Modelle sinnvoll nutzen kann (finde ich zumindest die Untergrenze) einfach auch wegen des Kontextfensters - es muss ja schon gerade bei der Code Erzeugung ein wenig Überblick haben.

Ist die Hardware da ist denke ich https://github.com/niko1221/strata ein Super Start wenn man einfach lokal AI betrieben will.

Läuft unter Windows Linux Apple ist eigentlich super einfach einzurichten und trotzdem leistungsstark auf mittlerer Gaming Hardware.
 
Zuletzt bearbeitet:
@HansBohne

Danke, vielen dank. Ich werde mich da mal einlesen.

Ich habe eine 6900xt mit 16gb ram und 32gb ddr4 ram berbaut und noch 16 hier herumliegen. Insgesamt also 48 gb. Würe das für den anfang mal reichen?
 
Ich denke auf jeden Fall versuchen - glaube das ist ein solides Setup - die 48 würde ich schon nutzen auch wenn 4-RAM riegel nicht so ideal sind oft - RAM ist halt wichtig. Ist halt immer ganz schwer einzuschätzen aber ich habe nur eine 12 Gbyte Grafik.

die lokalen Modelle sind echt für viele "Heim" Sachen inzwischen ok - bei Strata gibt es auch glaub ein spezielles Coder Modell das würde ich auf jeden Fall anschauen - das weiss vielleicht nicht wie lang der Durchschnittsrüssel von Elefanten ist aber dafür sich viel im Programmier Bereich :D

Bei 16 + 32/48 RAM würde ich halt ein wenig Abstriche in der Bequemlichkeit machen und die Modelle je nach Aufgabe was ich gerade mit der lokalen AI machen evtl kurz wechseln, da kann die lokale AI aber sich dann ein Bedienpanel zu schreiben dass das auf CLI Command, Tastendruck oder Mausklick geht


Das hier meinte ich

"Coder is ISTA-DASLab's coding version.It keeps 256 of each layer's 512 experts, chosen on code (with agentic and image data), and drops the rest. Its authorsreport 91% of the full model's SWE-bench Verified score and 99% of LiveCodeBench. There is one size, IQ1_M (expertsstored like IQ3_S); shard 1 is 29.6 GB. A 32 GB RAM computer also needs enough GPU memory and room for buffers;read the launch plan.
It is weaker outside code and in languages other than English, Chinese and other CJK text included. For general use,or whenever RAM allows, take a size that keeps every expert. More: details.
 
Zuletzt bearbeitet:
Auf Huggingface kannst du so ziemlich alles an lokalen Modellen herunterladen.

Wenn es um die Größe geht, bedenke das neben dem eigentlichen Modell noch Platz für Kontext benötigt wird, mehr als ein 12GB großes Modell würde ich garn icht erst versuchen in 16GB Vram zu quetschen. Dein Systemspeicher dient nur zum auslagern. Wenn dein Modell überläuft uns auslagert geht die Performance HART in den Keller.

Ich empfehle für den Anfang Q4_K_M oder Q5_K_M, es gibt noch die IQ Varianten, aber die benötigen Matrixrecheneinheiten die deine Karte nicht hat. Qwen3-14B sollte ohne große Anpassungen bei dir einigermaßen laufen mit irgendwas zwischen 20 und 30 Token/s

Wenn du das ganze unbedingt unter Windows laufen lassen willst nimm die Vulcan Backends. ROCm ist besser für Linux geeignet (wobei ich jetzt keine Erfahrungswerte mit der 6800Xt habe bezüglich Unterstützung.

OpenWebUI wäre eine Option für eine vertraute Oberfläche um mit dem Modell zu interagieren und Ollama ein gutes Starterkorsett um darin die Modelle laufen zu lassen.

Viel Spass!
 
Ich finde strata ist doch das optimale Startersetup - super einfach zu installieren und ungewöhnlich leistungsstark wenn man ein wenig auf Tokens / s verzichten kann - und ich finde der Verzicht ist sehr klein.

Und sobald strata läuft kann das auch andere Systeme einrichten - wenn man will :D

Ich kenne halt die AMD Karten nicht selber - ich kann nur sagen ich habe locker sogar mit Power gedrosselter 4070 (25% gedrosselt) > 70 Tokens / sec (bei sogar nur 12 Gbyte VRAM und einem "fetten" 125B Modell)

Aber es werden ja auch ziehmlich coole AMD Graka Setups genutzt - strata ist finde ich schon ein "Biest" was die Möglichkeiten angeht und trozdem super einfach :D


Windows(!)
2 unterschiedliche AMD Grafikkarten(!)
ein 125B Modell in der etwas kleineren 3 Bit Quantisierung

Das doch schon crazy dass das out of the box praktisch tut
 
Zuletzt bearbeitet:
Auf Huggingface kannst du so ziemlich alles an lokalen Modellen herunterladen.

Wenn es um die Größe geht, bedenke das neben dem eigentlichen Modell noch Platz für Kontext benötigt wird, mehr als ein 12GB großes Modell würde ich garn icht erst versuchen in 16GB Vram zu quetschen. Dein Systemspeicher dient nur zum auslagern. Wenn dein Modell überläuft uns auslagert geht die Performance HART in den Keller.

Ich empfehle für den Anfang Q4_K_M oder Q5_K_M, es gibt noch die IQ Varianten, aber die benötigen Matrixrecheneinheiten die deine Karte nicht hat. Qwen3-14B sollte ohne große Anpassungen bei dir einigermaßen laufen mit irgendwas zwischen 20 und 30 Token/s

Wenn du das ganze unbedingt unter Windows laufen lassen willst nimm die Vulcan Backends. ROCm ist besser für Linux geeignet (wobei ich jetzt keine Erfahrungswerte mit der 6800Xt habe bezüglich Unterstützung.

OpenWebUI wäre eine Option für eine vertraute Oberfläche um mit dem Modell zu interagieren und Ollama ein gutes Starterkorsett um darin die Modelle laufen zu lassen.

Viel Spass!
Habe linux und eine 6900xt also windows ist mir egal, was wäre da dann am besten
Beitrag automatisch zusammengeführt:



Danke an alle, mit dem rest nerve ich die google AI dann
 
Zuletzt bearbeitet:
Für llama.cpp würde ich mit Vulcan starten. ROCm ist deutlich wählerischer was die Grafikkartenunterstützung angeht und oftmals ist die implementierung etwas beta. AMD hat da noch einen weiten Weg zu gehen um auf dem Level von Nvidia zu sein.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh