Aktueller Inhalt von pwnbert

Ist okay, die x3d sind nicht so RAM Speed abhängig. Man kann ja bissl Speicher OC bis 6000 probieren, wird wsl. klappen bei den Timings.

nachdem flash_attn damit nicht läuft (was ich mich erinnere) bzw. glaube), isses wsl eher nutzlos. Zumindest mit assymetrischen Varianten läuft flash_attn imho nicht, und das will man eigentlich haben. q8/q4 hab ich schon mal getestet, hat praktisch imho nicht funktioniert (Fehler geworfen?)...

Aber irgendwas hats damit, ich glaube, MTP läuft so nicht.... oder doch? Not sure. Sollte so laufen lt. Claude... nachdem beim Qwen 3.8 27b Q4XL MTP "nur" 5 token/s bringt (von ca. 20 auf ca. 25), ist das schwer auszumachen, hängt wohl auch von Kontextlänge und Thema ab... Bei schnellen MoE...

So Kinder, Pro-Tip. Im llama.cpp LXC für die Modelle ein extra Dataset (oder was auch immer) mounten. In die llama.cpp Router-Mode einstellungen dann folgendes rein: --models-dir /mnt/ai-models \ --models-preset /mnt/ai-models/models.ini \ Das Dataset (oder was auch immer) vom Host aus per...

Egal. Jeder der weiter denkt hilft. Das ist eine Kettenreaktion, wie ein Virus, nur im Guten. ot: https://www.amazon.de/dp/B09TYZCN61?th=1 Diese weißen drin sind nicht soo übel, hab 2 hier liegen seit ner Zeit, aber noch nicht in Betrieb genommen. Hab schon Benchmarks gemacht, es unterscheidet...

Bissl aufregen muss schon auch sein, damit einfach die Menschen mehr nachdenken in vielen Situationen. Oft in der Geschichte wäre es rückwirkend besser gewesen, mehr Leute hätten was gesagt... ganz wertfrei. Ich ärger mich auch, nicht vom 5900X 64gb ECC auf 9950X mit 96gb ECC umgestiegen zu...

Gar nicht schlecht, in so Fällen geht da schon was damit, das stimmt. Zumindest bekommt man brauchbare Ergebnisse in zumindest akzeptablen Tempo.

Wäh, diese Holz-Seuche. Wie so 70er Jahre Hifi und Fernseher. :kotz: Einmal an der Front war das ja eine nette Abwechslung.. aber... nein?

Um das Thema MoE Offloading ging es im verlinkten Thread im AI Unterforum mit Hoto. Ich verstehe das so, dass der KV Cache im VRAM sein "muss", ebenso muss ausreichend Platz für alle Experts sein. Alles, was zusätzlich an Platz drin ist, ist ein Bonus, weil tendentiell weniger über den BUS...

Wenn ein Dense nicht zu 100% in den VRAM passt, isses quasi vorbei. Bei MoE nicht so wild. Die Experts müssen rein passen und der KV-Cache, dann limitiert die Bandbreite vom PCIe oder RAM, was auch immer kleiner ist. Muss man halt richtig einstellen, damits halbwegs flott läuft, je weniger in...

Tja, man wird sich als EU eben überlegen müssen, ob man für den Profit der US Konzerne untergehen will, oder ob man beim Bestbieter kaufen möchte.

Nun, für die Zwecke und Ziele der Stasi war eine möglichst lückenlose und akkurate Überwachung des gesamten Volkskörpers, auch ohne Anfangsverdacht, durchaus zweckmäßig und sinnvoll. Liegt halt im Auge des Betrachters. ... nur so als fiktives Beispiel. Diese Institution gibt es zum Glück ja...

Wie auch immer. Auch Jensens letzte Lederjacke hat keine Taschen, das weiss er sicher. Aber wie auch immer, ihr tut so, als wären einzlene Personen irgendwelche "Gottkönige"... in der Realität haben die nicht viel Spielraum und oft den undankenbaren Job ihr Gesicht für Entscheidungen...

16gb auf 16gb und paar % mehr Rechenleistung macht sicher Sinn. :fresse:

Doch, ist es, aber egal. 100€ sind eh "okay", wenn der Umfang entsprechend ist und damit die Unterhaltung. So gesehen war WoW das beste spiel in €/h, welches ich je gspielt hab... und das, obwohl ich dafür (seinerzeit, lang her) mehr ausgegeben hab als für jedes andere Spiel bis heute. This...