Der pwnbert, immer nett und freundlich,
Sicherlich, was denkst du, mit wem du redest? Wenn ich was schreib, dann weiss ich auch wovon, sonst lass ichs nämlich bleiben.
schonmal was von Riser Kabel gehört ?
Funktioniert aber nur bis Gen 3 vernünftig. Woher ich das weiss?
RiserKabel für Bifurication, also von x16 auf 4x4 gibts quasi nicht oder nur aus entfernten Quellen zu argen Preisen.
Keine Sorge, hab ich alles durch in diversen Variationen.
Backend ist logischerweise ComFyUI inkl. lowvram Config. in ExtraArgs usw. usf..
Naja, da hättest dich wsl. näher drum kümmern müssen.
Sorry, RTX7060 16GB war das, eine von Asus mit diesen Doppellüfter Design.
Bitte was soll das sein?
Wie kann eine AMD Karte eine RTX sein?
Reden wir von einer AMD 9060XT? Von einer RX7600XT?
Reden wir von einer Nvidia 4060Ti?
(Google hat ja einen neuen Algorithmus entwickelt der den Speicher effiziert macht)
https://www.linux-magazin.de/news/google-komprimiert-ram-bedarf-fuer-ki-modelle-auf-ein-sechstel/
Damit würde ein Model das 32GB Ram brächte auch mit 6GB laufen.
Analogie dazu VRAM. ne 8GB VRAM Graka könnte das gleiche wie eine 48GB VRAM Karte (theoretisch)
Jein. Musst halt lesen auch.
Es ist kein spezielles Training oder Feintuning nötig. TurboQuant erzielte auf H100-GPU-Beschleunigern eine bis zu 8-fache Leistungssteigerung gegenüber nicht quantisierten 32-Bit-Schlüsseln.
Gegen nicht quantisierte 32 Bit schlüssel.
Nun hat ein BF16 von Gemma 4 12b 24gb, das ist aber schon F16.
Üblich isses "bessere" Q4 Quants laufen zu lassen, also Q4KXL oder so, das sind dann effektiv ca. 5,irgendwas bit, in dem Fall 7,3gb grob, also sowas 1/3 von f16, 1/6 von f32.
Somit ist das 1/8 aus der News jetzt nicht der Gamechanger vom Faktor 8.
Sicherlich, wertvoll ist jeder Schritt in die Richtung, es ist jetzt aber nicht so, wie es klingt, dass nun ne popelige 16gg 4060Ti plötzlich zum Supercomputer wird.
Das mag bei einfachen Modellen im Rendering so stimmen, hast du recht. Aber dieses Google Ding hat halt einen entscheidenen Nachteil: Du bist auf Google eigene Module dazu limitiert.
Geht hier um LLM.