Comeback ab 350 Euro: Die GeForce RTX 3060 ist zurück

[Aisn]

Wer also tatsächlich für 350€ diese RTX 3060 kauft, muss völlig bescheuert sein.

Also bitte, da steht "NVidia" drauf, damit ist der PC per sé schnell!

 

[Morrich]

Also bitte, da steht "NVidia" drauf, damit ist der PC per sé schnell!

Nee, erst wenn ordentlich RGB mit dabei ist, wird die Kiste richtig performant.

 

[Niftu Cal]

Es sollte illegal sein, so alten Scheiß überhaupt noch produzieren zu dürfen. Das befeuert die Wegwerfkultur, mehr nicht.

Es sollte illegal sein nicht einfach die 5060 mit 12 oder 16 GB zu bringen, meinetwegen 96-128-Bit. Am Besten GDDR6 weil das reicht und verfügbar ist. Bei so einer Billigkarte braucht es kein GDDR7. Die Einsteigermodelle hatten damals auch alle normalen GDDR statt GDDRX schon bei Pascal.

Hab noch 2 RTX 3060 hier rum liegen, sollte ich verkaufen? https://www.kaufland.de/product/396...=2330758492983637&utm_content=SC_PMax_PG_high

Für 100 würd ichs mir überlegen. Ich überlege tatsächlich eine zu kaufen, weil Karten für um die 50 nicht existieren und die meist so 100 für olle GTX wollen. Die 3060 ist am Ende auch nicht besser als eine 5700 XT, nur hat sie mehr VRAM und DLSS. Das macht sie vor allem für Videobearbeitung interessant. Zum Zocken sind diese Karten fast schon unbrauchbar, wenn man mehr als 1080p60 erwartet oder eben alte Spiele spielt.

Wobei 200 Euro für die 3060 das absolute Maximum wäre.

Laut "3Dcenter" ist die 5060 43,5% schneller, als die 3060 12GB, hinzu kommt noch die bessere Energieeffizienz, welche man mit einem 10%-igen Preisaufschlag gewichten kann.

Dem nach müsste die 3060 12GB heute 175 Euro kosten, damit sie das Preisleistungsniveau der 5060 erreicht:
175 Euro x 1,435 (Faktor Leistung) x 1,1 (Faktor Effizienz) = 276 Euro (= ca. Preis der 5060)

200 € neu vielleicht, dann aber bitte mit schnellerem GDDR. Manche Modelle scheinen 15 Gbps zu haben, dabei gibt es 18 und 20er wie bei den neueren AMD-Karten. Da wäre das Mindeste auf den alten Dingern den Preis noch zu rechtfertigen. Über 200 gibt es einfach überlegenere Optionen außer man hat eine grüne Brille und ist blind für andere Farben. Dann aber selber schuld. Ich würde selbst Intel mittlerweile mal probieren wollen, leider gibt es die kleineren Arcs auch nicht gebraucht zu brauchbaren Preisen und neu schonmal gar nicht. zB die A380, das wäre eine perfekte Rücklagekarte die ca 980 Leistung, 6 GB, gute Effizienz aber moderne Anschlüsse und AV1 hat.

Auffällig viele oder krasse Texturfehler kann ich mit meiner 9060 XT 16GB nicht feststellen. In welchen Spielen soll das häufig der Fall sein? Das kommt doch eher dann vor, wenn der Speicher nicht ausreicht. Wäre also eher ein Problem einer RTX 3070 oder 5060Ti 8GB.

Entweder Karte defekt oder es liegt am Spiel. SWBF II und diverse Frostbitetitel spinnen leider rum in DX12 auf diesen Karten. Das liegt aber am Entwickler bzw. €A nicht mal einen Patch nachzureichen neue Hardware zu unterstützen, genauso wie BFV nach wie vor nur DLSS1 hat und RT auf AMD-Hardware generell nicht läuft obwohl selbst eine 9060 XT mittlerweile mit einer 2080 Ti (für die das Spiel entwickelt wurde) den Boden aufwischen würde. Darum bin ich auch froh diesem Drecksverein keinen Cent mehr gegeben zu haben, siehe das Trauerfest BF6. Nicht kaufen, Problem gelöst. Die vorher genannten Spiele sind dennoch rammelvoll, selbst BFV mit all seinen Problemen, ohne RT läuft das super und das sogar auf uralten Karten. Eine 290 kann das in 1080p60 auf Hoch machen. Versucht das mal in BF6 mit 4 GB VRAM. BF1 läuft sogar auf der 960 2 GB die ich letztens bekommen habe in 1080p60+, was mich absolut erstaunt hat wenn man bedenkt wie gut das noch aussieht und wie knackig die Texturen sind. ZWEI GB!!!

 

[Erklärbär]

Also manche von euch haben wirklich illusorische Preisvorstellungen.

Eine GTX3060 12GB gab es selbst vor diesen ganzen RAM/VRAM Geplänkel nicht für unter 200€ neu, wenn nicht gerade in einen wirklich guten Supersonderrabattangebot oder halt 2-Hand Rückläufer.
Ich hatte mir noch Anfang 2025 Ende 2024 neu eine kleine GTX3050 8GB für ein Zweitsystem gekauft, auch die hat da schon 200€ gekostet.

ps: Sorry, ende 2024 war das. Anfang 2025 war dann die GTX4060.

 

[RealMax123]

Dieses "... aber die ATI Treiber..." ist so eine Sache aus 2002, die sich die AMD Fanbois beim Circlejerk erzählen.

Was wahr ist ist allerdings, dass die Intel ARC (Software) wohl "so eine Sache" ist... wird für einfache Anwendungen eher egal sein, als Budget Gamer könnte man eine ARC schon nehmen, wenns ein vernünftiges Angebot ist, wenn man damit bissl tiefer geht (AI etc.) isses aber so ne Sache. Funktioniert zwar auch, aber paar Stolpersteine mehr sind nochmal da gegenüber rot&grün.

Das ausweichen zu AMD oder Intel macht aber nur Sinn wenn man mehr als 8GB will.

Aber 8GB sind auch bei Nvidia nicht teurer als bei der Konkurrenz.

Asus Prime GeForce RTX 5060 Ti OC gibts gerade für 318€ bei Joybuy und jeweils 319€ bei Alternate und Galaxus: https://geizhals.de/asus-prime-geforce-rtx-5060-oc-a3474775.html

PNY GeForce RTX 5060 Ti Dual Fan gibts für jeweils 319€ bei NBB und Nullprozentshop: https://geizhals.de/pny-geforce-rtx-5060-ti-dual-fan-vcg5060t8dfxpb1-a3472519.html

Asus TUF Gaming GeForce RTX 3070 Ti OC zwar gebraucht aber mit 6 Monate Gewährleistung vom gewerblichen Händler für 305€: https://www.ebay.de/itm/168499128206

Für Budget-Gamer die wahrscheinlich eh nur in FHD oder UWFHD oder QHD zocken sind das doch solide Lösungen, und auch perfekt wenn sie abseits vom Gaming ein bisschen mit Blender oder DaVinci Resolve arbeiten wollen.

Es sollte illegal sein nicht einfach die 5060 mit 12 oder 16 GB zu bringen, meinetwegen 96-128-Bit. Am Besten GDDR6 weil das reicht und verfügbar ist. Bei so einer Billigkarte braucht es kein GDDR7. Die Einsteigermodelle hatten damals auch alle normalen GDDR statt GDDRX schon bei Pascal.

Könnte man theoretisch auch machen, aber ich könnte mir vorstellen das auf TSMC 4NP die Fertigungskapazitäten doch begrenzt sein könnten, und es deswegen sinnvoll sein könnte das Budgetangebot paralell dazu zusätzlich noch auf Samsung 8nm fertigen zu lassen.

Und wenn der Preis stimmt, dann ist die GeForce RTX 3000 Serie für das Budgetangebot noch frisch genug.

Also manche von euch haben wirklich illusorische Preisvorstellungen.

Eine GTX3060 12GB gab es selbst vor diesen ganzen RAM/VRAM Geplänkel nicht für unter 200€ neu, wenn nicht gerade in einen wirklich guten Supersonderrabattangebot oder halt 2-Hand Rückläufer.
Ich hatte mir noch Anfang 2025 Ende 2024 neu eine kleine GTX3050 8GB für ein Zweitsystem gekauft, auch die hat da schon 200€ gekostet.

ps: Sorry, ende 2024 war das. Anfang 2025 war dann die GTX4060.

Ich würde für die GeForce RTX 3000 Serie als Budgetangebot etwa folgende Richtpreise fair finden:

RTX 3040 4GB (technisch identisch zur RTX A400) für 129,95€
RTX 3050 6GB für 179,95€
RTX 3050 8GB für 184,95€
RTX 3060 8GB für 209,95€
RTX 3060 12GB für 239,95€

 

[pwnbert]

Ich weiss nicht, was du immer mit deinen fiktiven Preislisten hast...

 

[zog88]

ps: Sorry, ende 2024 war das. Anfang 2025 war dann die GTX4060.

Im anderen Thread war es eine RTX7060, jetzt eine GTX4060.
Kann es sein das die Nachkommastellen deiner Wunschpreislisten eine gewisse Modell-Legasthenie auslösen?

 

[kawanet]

Für 100 würd ichs mir überlegen. Ich überlege tatsächlich eine zu kaufen, weil Karten für um die 50 nicht existieren und die meist so 100 für olle GTX wollen.

Ehrlich gesagt erscheinen mir deine Preisvorstellungen etwas weit hergeholt und das ist noch sehr wohlwollend ausgedrückt (Preisfehler mal ausgenommen).

Die 3060 ist am Ende auch nicht besser als eine 5700 XT, nur hat sie mehr VRAM und DLSS. Das macht sie vor allem für Videobearbeitung interessant. Zum Zocken sind diese Karten fast schon unbrauchbar, wenn man mehr als 1080p60 erwartet oder eben alte Spiele spielt.

Finde den Fehler...

ohne RT läuft das super und das sogar auf uralten Karten. Eine 290 kann das in 1080p60 auf Hoch machen. Versucht das mal in BF6 mit 4 GB VRAM. BF1 läuft sogar auf der 960 2 GB die ich letztens bekommen habe in 1080p60+, was mich absolut erstaunt hat wenn man bedenkt wie gut das noch aussieht und wie knackig die Texturen sind. ZWEI GB!!!

 

[Erklärbär]

Im anderen Thread war es eine RTX7060, jetzt eine GTX4060.
Kann es sein das die Nachkommastellen deiner Wunschpreislisten eine gewisse Modell-Legasthenie auslösen?

Welcher andere Thread? Zeig mal bitte. ..ich hatte eine 3050, gefolgt von einer 4060 zusammen mit einer 7600. Eine "7060" hatte ich noch nie. Ich hatte wohl mal einen Zahlendreher drin (meine cherry spinnt halt mal ab und an) damit war dann aber eher dann die 7600 AMD gemeint. Eine GTX3060 für unter 200€ bzw. ansatzweise daran, hatte ich trotzdem 2024 noch nie gesehen. Sonst hätte ich ja damals nicht zu einer GTX3050 gegriffen, die man im Angebot (laut GH mit 198,xx bei Amazon für das Asus Modell gerade am günstigsten) wohl für um die 200€ Ende 2024 bekommen hatte. Also, diese "Wunsch"preise sind absolut illusorisch. In der Bucht für rückläufer oder vom Händler für Ausstellungsstücke vieleicht machbar, die sind dann aber alles andere als neu, never nagelneu.

 

[zog88]

Comeback ab 350 Euro: Die GeForce RTX 3060 ist zurück

Wenns ne RX7060 gäbe, wüsste man eher, was du meinst. Wsl. hättest dich bissl tiefgründiger mit der Sache beschäftigen müssen. BEIDER Karten mit gleicher Software? Je nen Guide gelesen, wie mans auf AMD laufen lässt? Swarm ist auch so ne Sache, musst halt schauen, was der genau verwendet/tut...

www.hardwareluxx.de

So lange ist das noch nicht her, in dem Thread erwähnst du es zweimal, einmal als 7060 und einmal als RTX7060.
Aber kein Thema, ich vergess auch gerne mal den Blödsinn den ich verzapfe *zwinkersmiley*

 

[Erklärbär]

Ja, dass war doch dieser Thread hier. Hatte ich doch geschrieben. RT7600 heißt die, hatte ich auch später verlinkt welche das genau ist.

Wenn du fast nur nv Karten benutzt, dann X't dir dass X die ganze Zeit im Kopf rum. Da X't du überall nen X rein, sonst war das niX.

 

[RealMax123]

Zum Zocken sind diese Karten fast schon unbrauchbar, wenn man mehr als 1080p60 erwartet oder eben alte Spiele spielt.

Für FHD und UWFHD Gaming macht sie keinen Sinn, und auch produktiv für Blender und DaVinci Resolve nicht, sondern da sind eine RTX 5060 Ti 8GB oder RTX 3070 Ti immer die bessere Wahl.

Am attraktivsten dürte sie für QHD und UWQHD Gaming von älteren Games oder auf niedrigen Einstellungen sein, wo die 12GB VRAM gegenüber 8GB VRAM ein Vorteil sind.

Vorallem bei Simulationen oder auch bei Open World Games hat QHD oder UWQHD wegen der grösseren Sichtweite seine Vorteile, aber man braucht oft garnicht sonderlich viel FPS sondern kann auch mit 40-50 FPS schon gut zocken.

 

[zog88]

Grade bei Nvidia find ich die Namen seit gefühlt 15 Jahren eigentlich Sonnenklar.

AMD macht das aber wohl Absicht Produkte möglichst verwirrend zu benennen.
Ryzen 7600X / RX7600XT ??
Ryzen 7700X / RX 7700XT ??
RX 6600 - 6650 (refresh) ??
Ryzen 7900X / RX 7900 XT - XTX ??
Ryzen 8000 APU auf Zen4 mit beschnittenen Cache und PCIe Lanes aber "höheren" Modellnummern als Ryzen 7000 der deutlich besser ist

 

[DonQuichote]

Jetzt wo du das auflistest, seh ich erst wie elegant die das gelöst haben. Plus die geraden Zahlen für die APUs, völlig einleuchtend. Was besser ist, hängt wohl eher vom Anwendungsfall ab und refresh mit leicht erhöhten Taktraten gabe es schon bei jedem.
Blöd find ich eher, dass sie sich jetzt an das Nvidia Namensschema anpasst haben. Sonst wär meine 9070XT eine 9700XT

 

[RealMax123]

Grade bei Nvidia find ich die Namen seit gefühlt 15 Jahren eigentlich Sonnenklar.

Das würde ich nicht sagen, Nvidia mogelt bei der Namensgebung auch.

Bei der RTX 3050 in der 6GB und 8GB vermittelt der gleiche Name, die Versionen würden sich nur beim Speicher und ggf. Speicherinterface unterscheiden, aber die 6GB Version hat auch weniger SMs und RTCs, was aber verschwiegen wird.

Gleiches gilt auch für die RTX 3080 in der 10GB und 12GB Variante.

Bei RTX 3060 Ti gibt es eine Variante mit normalen GDDR6 und eine Variante GDDR6X was Nvidia aber kaum kenntlich macht.

Die RTX 4070 Ti Super ist auch unlogisch weil es eigentlich eher eine RTX 4080 Lite ist.

Dann noch der Shift zwischen Mobile Versionen und Desktop Versionen, das z.B. eine RTX 5070 Mobile von der Anzahl der SMs, RTCs, VRAM und Speicherbus ziemlich genau der RTX 5060 Ti entspricht, aber eben nicht der RTX 5070.

Blöd find ich eher, dass sie sich jetzt an das Nvidia Namensschema anpasst haben. Sonst wär meine 9070XT eine 9700XT

Nach Radeon RX 7000 Serie wäre erstmal eine Radeon RX 8000 Serie logisch gewesen:

RX 9060 -> RX 8600
RX 9060XT -> RX 8600XT
RX 9070GRE -> RX 8700 oder RX 8700XT
RX 9070 -> RX 8800
RX 9070XT -> RX 8800XT

 

[SlapAHo]

Der nächste fängt mit den komischen Windows Versionen an...

 

[L_uk_e]

RT7600 heißt die, hatte ich auch später verlinkt welche das genau ist.

Machst du doch jetzt aber schon mit Absicht oder?
Lass mal lieber sein mit GPU benennen in deinen Postings

 

[Erklärbär]

Ok, dann war es halt doch eine RX. Kagge war die trotzdem und gegen eine GTX4060 16GB via SwarmUI (Stand Anfang 2025) mal total abgek***t.



ps: Aus den Thread-News: "Preislich ist das Comeback also eher schwer zu verargumentieren." -> 4GB mehr an VRAM z.b.? Denn bei einer 12GB VRAM Pixelschleuder mit durchgängig 8GB VRAM Pixelschleudern bzgl. höheren Preis zu kontern, ist gerade momentan, wo man Speicher schon fast in Gold aufwiegen kann, schwer zu begründen. Egal ob das nun neuere oder ältere Gen. ist. Außerdem nimmt KI/AI im Homesegment auch immer mehr zu, da wird es dann schwer mit reiner Gamingleistung zu kontern, wenn dort dann im Endeffekt primär die reine VRAM Kapazität nur noch eine Rolle spielt - auch egal, ob nun Gen3, 4 oder 5.

 

[pwnbert]

...

Also, weil ich grad drüber gestolpert bin, die AMD könenn FP8 nativ erst seit kurzer Zeit (sprich seit RDNA4).
NV kanns auch erst seit Ada Lovelace.
Ohne FP8 läuft flux wohl scheiße. Heisst also, auf ner 3060 oder 3090 läuft das auch scheiße (auf der 90er freilich weniger scheiße, weil man die Umrechnung etwas mit Leistung kompensieren kann, wird wohl intern in fp16 konvertiert).
Viel mit CUDA hat das noch nicht mal zu tun.

Das ist halt das Ding, warum ne 3090 oder 7900XTX nicht unbedingt der beste AI-Kauf ist... VRAM ist zwar erstmal nicht schlecht (ohne genug VRAM übles Thrashing wo gar nix mehr geht), aber wirklich schnell isses halt nicht. Dafür müsste man das Zeug halt in int8 laufen lassen, da muss man sich wohl ein wenig damit beschäftigen (genau wie mlx am apple oder nvfp4).
Die 7600XT war halt noch nie eine besonders schnelle Karte, die für ihre Zeit üppigen 16gg VRAM hin oder her.

Mal sehn, was die AMD AI-Pro kann, freu mich schon drauf.

 

[RealMax123]

Bei Nvidia wurde allerdings schon durch PhysX und CUDA der Weg zu einer universelleren Nutzung gelegt.

Bei AMD gäbe es zwar prinzipiell jetzt seit RDNA4 auch entsprechende Möglichkeiten, aber die Frage ist ob es da ersthaft jemand die Mühe machen wird was Vergleichbares zu implementieren.

Es gibt zwar Projekte wie ZLUDA aber ob das massentauglich wird? https://zluda.org

 

[pwnbert]

Ich glaub nicht, dass du wirklich verstehst, worum es geht, oder?

 

[Erklärbär]

Also, weil ich grad drüber gestolpert bin, die AMD könenn FP8 nativ erst seit kurzer Zeit (sprich seit RDNA4).
NV kanns auch erst seit Ada Lovelace.
Ohne FP8 läuft flux wohl scheiße. Heisst also, auf ner 3060 oder 3090 läuft das auch scheiße (auf der 90er freilich weniger scheiße, weil man die Umrechnung etwas mit Leistung kompensieren kann, wird wohl intern in fp16

Jein! GTX30xx kann keine FP8 Modelle (Gleitkomma Dynamikrange), dass stimmt. Zauberwort heißt hier: GGUF (Q4)Q8 Integer Quantisierung mit CPU-Offloading und hochkomprimiert FP8 Modellen nachempfunden.
GTX40xx frisst natürlich direkt FP8 Modelle, nutze die ja mit meiner GTX4060 16GB. Qualitativ kommen gute GGUF Q8 Modelle aber sehr nahe an FP8 heran, dauert halt nur paar Sekunden länger.
Ich habe selber damals sogar mit Diffusion Q4-K-S Modellen (4-bit Quantisierung) auf einer 8GB 3050 relativ hochwertige 4k Ergebnisse (optional upscale 8k) hin bekommen. Nicht ganz das Niveau von FP8 und dauert halt ein paar Sekunden länger aber halt sehr nahe dran, ohne Gefahr von zb. Slamming & Co.

ps: Richtig gute GGUF Modelle, sogar für ältere Kärtchen ab 6GB VRAM (ab 30xx) Q3/Q4/Q8 bekommst du z.b. auf huggingface & Co.

VRAM ist zwar erstmal nicht schlecht (ohne genug VRAM übles Thrashing wo gar nix mehr geht), aber wirklich schnell isses halt nicht.

VRAM ist alles! Wie willst du zb. ein FP8 Modell in einen Kärtchen mappen das nur 12GB VRAM besitzt? Ok, SwarmUI würds machen (über Tricks), dann kannst du dir aber schön Kännchen Kaffee kochen und via TM dabei zuschauen, wie dein RAM volllastig alles ausbremst und deine achso hochpotente Pixelschleuder, ein halbes Stündchen schwitzend vor sich hin pfeift.

ps: Außerdem verwende ich persönlich gerne Flux.2, weil gerade Flux eine schöne Besonderheit aufweist ggü. vielen anderen Modellen. Du kannst in "Klarsprache" prompten, da ist Flux drauf spezialisiert. Brauchst meist nicht einmal spezielle Kameraperspektiven und Ausschnittsbeschreibungen. Du schreibst schlicht was du sehen willst legst darüber die Ankerpunkte fix fest und je nachdem wie du definierst hat Flux KI automatisch den Ansatz "Aha, da mach ich dann am besten mid-range, Close-up, usw. usf.". Keine Stichpunkte, keine Gewichtungen, kein Klammer/Doppelpunkt/0.x/1.x-Zirkus usw. usf. - klare, saubere Texte. SwarmUI selbst ist als WebUI auch eine saubere Sache, wird gerade Engine seitig ständig optimiert. Letzte Update erst vor 4 Tagen gezogen, da waren wieder richtig gute Leistungsoptimierungen dabei. Jetzt stehen schon wieder neue Updates an laut Server-Log, für viele PartnerNods (u.a. chore), Linux SwarmUI mit dot10, ein fettes phyton3.13 Update, Qwen-3 tokenizer usw. usf. - also immer uptodate.

 

[Aisn]

Nee, erst wenn ordentlich RGB mit dabei ist, wird die Kiste richtig performant.

Stimmt, mein Fehler..., sry...

 

[Niftu Cal]

Für FHD und UWFHD Gaming macht sie keinen Sinn, und auch produktiv für Blender und DaVinci Resolve nicht, sondern da sind eine RTX 5060 Ti 8GB oder RTX 3070 Ti immer die bessere Wahl.

Warum sollte eine 3070 Ti die bessere Wahl sein bei Davinci dürfte es primär am Encoder liegen der derselbe sein dürfte da könnte der extra VRAM schon was bringen. Die Ti ist die ziemlich schlechteste Karte, da meist teurer aber nicht schneller als eine normale 3070. Selbst die 3060 Ti ist nur 10 % langsamer, daher wenn der Preis stimmt eine gute Option. Mir sind die aber alle viel zu teuer.

Eine 3060 für 100 oder irgendwas vergleichbares mit AV1 nativ käme mir sehr gelegen. Gibt es scheinbar nicht. 5700 XT bekommt man mit Glück aber die sind auch schon wieder sehr alt und haben nichtmal FSR4 oder DLSS. 6000er kann man wohl freihacken, ab 2027 sollen die dann offiziell Support bekommen. Im Endeffekt noch ein guter Move von AMD, denn NV supported bis RTX 2000. FG juckt da nicht weil es eh kacke ist, aber Upscaling macht bei so wenig Leistung schon Sinn.

 

[RealMax123]

Eine RTX 3070 Ti ist eben etwas günstiger als eine neue RTX 5060 Ti, aber technisch trotzdem leicht überlegen wenn auch nicht viel.

Eine RTX 3060 für 100€ wäre eine völlig untrealistische Preiserwartung, selbst eine RTX A400 kostet um die 140€.

Wenn es um den Produktiveinsatz geht dann kann leider keine Radeon CUDA, und die Open-Source Alternative ZLUDA ist noch ziemlich experimentiell.

Und gebrauchte Radeon RX 6700 XT, RX 6700 GRE, RTX 6750 XT, RX 7700 XT, etc. sind leider auch nicht gerade preiswert.

 

[L_uk_e]

Außerdem nimmt KI/AI im Homesegment auch immer mehr zu,

So Ein Quatsch. Das mag maximal bei Usern in so einem Forum wie hier so sein. Aber Ottonormalverbraucher interessiert das nicht die Bohne.

 

[n3cron]

Jein! GTX30xx kann keine FP8 Modelle (Gleitkomma Dynamikrange), dass stimmt. Zauberwort heißt hier: GGUF (Q4)Q8 Integer Quantisierung mit CPU-Offloading und hochkomprimiert FP8 Modellen nachempfunden.
GTX40xx frisst natürlich direkt FP8 Modelle, nutze die ja mit meiner GTX4060 16GB. Qualitativ kommen gute GGUF Q8 Modelle aber sehr nahe an FP8 heran, dauert halt nur paar Sekunden länger.
Ich habe selber damals sogar mit Diffusion Q4-K-S Modellen (4-bit Quantisierung) auf einer 8GB 3050 relativ hochwertige 4k Ergebnisse (optional upscale 8k) hin bekommen. Nicht ganz das Niveau von FP8 und dauert halt ein paar Sekunden länger aber halt sehr nahe dran, ohne Gefahr von zb. Slamming & Co.

.....

ps: Außerdem verwende ich persönlich gerne Flux.2, weil gerade Flux eine schöne Besonderheit aufweist ggü. vielen anderen Modellen. Du kannst in "Klarsprache" prompten, da ist Flux drauf spezialisiert. Brauchst meist nicht einmal spezielle Kameraperspektiven und Ausschnittsbeschreibungen. Du schreibst schlicht was du sehen willst legst darüber die Ankerpunkte fix fest und je nachdem wie du definierst hat Flux KI automatisch den Ansatz "Aha, da mach ich dann am besten mid-range, Close-up, usw. usf.". Keine Stichpunkte, keine Gewichtungen, kein Klammer/Doppelpunkt/0.x/1.x-Zirkus usw. usf. - klare, saubere Texte. SwarmUI selbst ist als WebUI auch eine saubere Sache, wird gerade Engine seitig ständig optimiert. Letzte Update erst vor 4 Tagen gezogen, da waren wieder richtig gute Leistungsoptimierungen dabei. Jetzt stehen schon wieder neue Updates an laut Server-Log, für viele PartnerNods (u.a. chore), Linux SwarmUI mit dot10, ein fettes phyton3.13 Update, Qwen-3 tokenizer usw. usf. - also immer uptodate.

Moderne CPUs haben integriert NPU für KI Beschleunigung („Arrow Lake“, „Phoenix“, „Strix Point“ etc. Für den Einsatz als Lokale leichte Maschine reicht das vollkommen z. B für Audiofilter etc..
Mit neuester Gemma Version läuft das sogar auf einem Handy recht performant als "CPU" der reine Chat hat eine gute Performance.
Das läuft aber auch auf GPU z. B dem Exynos Eclipse 920, was einer RDNA 2 Architektur entspricht ohne CUDA absolut nice.

CUDA brauch man nur für die auf Nvidia Architektur optimierten LLMs. Die Offenen funktionieren meist auch ohne Nvidia, müssen sie auch.
Apple hat keine Nvidia CUDA und wird das nie haben.

Könnt ihr gerne selbst Testen mit Google Edge Gallery. Das kann man auch auf Smartphones installieren die älter sind. Natürlich wird die Leistung abnehmen und je weniger RAM die Geräte haben, desto kleiner das Model. Trotzdem sehr beeindruckend.

Das Ziel wird es auch nicht sein eine Nvidia GPU für KI zu brauchen, weil diese Art Architektur nicht überall verfügbar ist. Fürs Training kann man mit leben.
Für Ausführung/Nutzen brauch man das nicht. Das wird auch so laufen mit populären AIs.

Für Spezifische Software, wird das sicherlich der Fall sein, aber für die Breite Masse wird das nicht so werden. Ich ziehe dazu die Analogie zu CAD oder Video Coding.
Mittlerweile läuft das recht flüssig auch nativ auf CPU/IGPU. Das wird für AI/KI auch das Ziel sein.

 

[pwnbert]

Die Sache mit CUDA ist aus den Anfängen der Local AI Zeit, als ADA Lovelace gerade neu war und viele nette Features gebracht hat.
Da war es so, dass man speziell unter Windows, Probleme mit AMD hatte, u.a. auch weil die Karten einfach von ihrer fp8/int16 Leistung her schwach waren (siehe die 7600xt vom e-bär), obwohl sie im Gaming gut geliefert haben. Die Nvidia 40er war auch die erste mit FP8 Support - das war halt schon ein ziemlicher Gamechanger.

Wobei Cuda auch schon auf ner GTX 970 gelaufen ist, das war die erste, die den Kram halbwegs unterstützt hat, ich hab damit mit stable-diffusion begonnen und mir dann eine ADA Lovelace geholt wie sie gekommen ist, zu dieser Zeit wars speziell unter Windows noch ein gewisses Problem mit AMD oder Intel.

Jetzt, 2026, ist das alles ganz anders.
Diese "aber CUDA..." ist genau so veraltet wie "aber die schlechten ATI Treiber..." (welches nach 20 Jahren immer noch nachhallt).


Nachtrag:
Wobei meine reale Erfahrung zeigt, dass Intel (speziell iGPU) momentan eher ein Papiertiger ist, hinsichtlich NPU. So wirklich unterstützt ist das Ding nirgendwo, Vulkan ist best practice, also naaaaja. Auch die ARC Pro Karten wirken ganz interessant mit ihren verhältnismäßig günstigen 32gb VRAM, in der Realität ist aber wohl die teurere AMD "besser" hinsichtlich der realen Nutzbarkeit.

So ganz egal isses also immer noch nicht, man muss halt genauer hinsehen.
Ist aber egal, weil der Großteil der Consumer-AI ohnehin in der Cloud läuft.

Lokal ist immer noch was sehr nerdiges, wo mehr dazu gehört, auch teure Hardware.
Diese Nano-Edge-LLMs sind ja irgendwo ganz interessant, aber naja... was wirklich komplexeres wird damit wsl. eher schwer.

 

[Erklärbär]

Moderne CPUs haben integriert NPU für KI Beschleunigung („Arrow Lake“, „Phoenix“, „Strix Point“ etc. Für den Einsatz als Lokale leichte Maschine reicht das vollkommen z. B für Audiofilter etc..
Mit neuester Gemma Version läuft das sogar auf einem Handy recht performant als "CPU" der reine Chat hat eine gute Performance.
Das läuft aber auch auf GPU z. B dem Exynos Eclipse 920, was einer RDNA 2 Architektur entspricht ohne CUDA absolut nice.
...
Mittlerweile läuft das recht flüssig auch nativ auf CPU/IGPU. Das wird für AI/KI auch das Ziel sein.

Ja, dass kann man für "zwischendurch" vieleicht mal stark eingeschränkt probieren, kannst du aber mit guten Workstations sicherlich nimmer vergleichen.
Flaschenhals ist und bleibt der VRAM. Meines Wissens nach kannst du dieses Spielzeug max. dato bis auf Stand 4-bit Quantisierung / StableDiffusion 1.5 (kein XL/SDXL) Emulatoren preschen.
Das ist dann jetziger max.Standard vergleichbar ungefähr mit GTX30xx GGUF 3b/4b vor schätzungsweise 4 Jahren / 5 Jahren? Aber auch da war quasi schon GGUF 8b der Standard.
Mag für mobile Smarties reichen, stationär sicherlich nicht. Zudem ist die Flexibilität (Checkpoints, Base Modells, LoRAs, VAE usw. usf.) stark eingeschränkt.
Da dort meist Checkpoints basierend auf Llama, Qwen & Co. zum Einsatz kommt, halt nur entsprechend anderer Name, Techniks (KI) basiert im Grunde aber darauf.

ps: Außerdem und das sollte man nicht unterschätzen, womit im Endeffekt auch alles läuft oder dann halt kippt -> T5! Ein T5 XL/XXL mit hunderten Milliarden Definitionen wirst du nimmer auf einen Smartie eingepflegt bekommen, heißt, Google werkelt da im HG (stationär hat sich damit ergo schon erledigt). Und selbst hier: Nano-Edge-LLM macht das Smartie nicht dafür KI_seitig Robotik/Sensorik/Training fähig, dass läuft auf stationär PCs quasi standartisiert im HG mit.

..wird sicherlich niemand am stationär PC mit glücklich werden, da dass dann mal wirklich veraltet ist.

Nur mal so zum Vergleich damit Mitlesende die Unterschiede dieser "light"-Varianten zum Vollwert-PC sehen:
- ein hochwertiges Smartie mit 12GB (-6GB für das OS) LPDDR5 packt ca. 50~100GB/s, eine aktuelle, kleinere GTX5060/70 schaufelt über 12~16GB (komplett frei) GDDR7 ca. 500~800GB/s.
- das Smartie, wenn es ein wirklich hochwertiges ist, schafft max. 45TOPS (Gen2), eher noch darunter. Eine GTX5060/70 mit ca. 192 Tensor Kernen der 5ten Gen schafft um die 1000TOPS.



Heißt schlicht und einfach: Wenn man nun das max. für Smartie machbare StableDiffusion 1.5 nimmt, bräucht ein wirklich hochwertiges Smartie ca. 25~30sek., eine GTX5060/70 unter 0,5sek.
..ganz davon abgesehen, dass SD1.5 wohl niemand ernsthaft noch am stationär PC anwenden möchte, was im mobile Sektor aber derzeit aktueller Stand ist. Egal wie sich die Checkpoints dafür nennen mögen.

So Ein Quatsch. Das mag maximal bei Usern in so einem Forum wie hier so sein. Aber Ottonormalverbraucher interessiert das nicht die Bohne.

Wenn du meinst. Ich kenne in meinen Kreisen eigentlich niemanden mit PC der nicht eine stationäre WebUI KI einsetzt.
Mittlerweile ist es ja auch spielend leicht so etwas für einen durchschnittlichen Home-PC aufzusetzen. 16GB Pixelschleuder primär, sekundär dann 16 bis 32GB Dimm und eine SSD reicht schon dafür aus.
So etwas hier gehört doch mittlerweile z.b. bei vielen Home-PC zur unteren Mittelklasse, reicht aber im Grunde schon satt & schmatzig:



For Beginners muss die Hardware dafür auch nicht so teuer sein oder momentan teuer zugekauft werden, da nicht wenige User diese Hardware doch eh schon am Start haben. Selbst Google-KI kennt die bekanntesten Anwendungen dafür schon so gut, dass die dir die "Basics" in 5-10min. herunter leiern kann. Nur wenn es dann "spezieller" wird, da kannst du diese KI (Google) getrost in die Tonne kloppen, ist schlicht überfordert und liefert dir Angaben, die gar nicht passen können, da deren "Erfahrungsschatz" auf ebenfalls Fehlinfos aus den I-Netz beruht, dass ist aber ein anderes Thema.

 

[RealMax123]

Das Ziel wird es auch nicht sein eine Nvidia GPU für KI zu brauchen, weil diese Art Architektur nicht überall verfügbar ist. Fürs Training kann man mit leben.
Für Ausführung/Nutzen brauch man das nicht. Das wird auch so laufen mit populären AIs.

NPU lohnt sich eigentlich nur bei Mobilgeräten wo die Akkulaufzeit essentiell ist.

Aber selbst ne GeForce GTX 1080 bringt mehr TOPS als eine NPU, allerdings hat sie natürlich dabei einen deutlich höheren Stromverbrauch. Aber bei einem Desktop ist das ja egal.