Du kaufst 3 Stück davon und dann hast du 36GB und lädst ein schönes Modell mit Ollama
Schwachsinniges Hörensagen-Geschwurbel. Find mal ein Mainboard, wo du so easy 3 Stück davon unter bekommst.
Heute zu Tage wirds schon mit 2 Stück sportlich, 2-4 Fach SLI/CF Boards sind total out. Freilich bekommst das eine odere andere Strix, Pro-Art oder AI-Top wo das geht, brauchst dafür aber DDR5 usw...
Um nen knappen Tausender bekommst eine Arc Pro B65 mit 32gb VRAM, die schnelelre Arc Pro B70 ist auch nicht so viel teurer.
Ist zwar ein bissl ein hassle, aber Vulkan läuft und... joa.
Was soll ich hier 3 Kack-Karten für insgesamt ca. 1000€ kaufen, wenn ich ums gleiche Geld eine Pro-Karte mit 32gb bekomm?
Dieses Argument ist so maximal gaga. "CUDA"... ja... aber ne veraltete Version. Kannst gleich ne 9060XT mit 16gb kaufen, ist sinnvoller. Ist zwar auch noch zu klein, aber immerhin läuft so ein 12b oder 9b drin brauchbar mit etwas Kontext.
ps: Ich will aber nicht abstreiten, dass es mittlerweile durchaus Modelle geben kann, die auf AMD Karten optimiert sind, dass weiß ich aber nicht, da ich eine nV Karte habe und mich daher AMD eher weniger interessiert.
Das ist alles sehr naja. Keine Ahnung wie alt deine Infos sind.
Irgendwas hast da verkackt, aber allgemein sind das Zeiten die wild sind.
Bin mir nicht sicher, was du genau gemacht hast da lt. deiner Beschreibung.
Mehr Informationen für die überwältigende Mehrheit der KI-Nichthoster hier. Treiber, Tokens, Stabilität, Unterstützung? Das sieht dann quasi wie die Miningfarm aus oder wie? Die Segmentierung der Speicherbereiche stört dann nicht?
Vergiss es, in dem Thread hier ist alles Hörensagen. Die Leute wissen doch noch nicht mal, wasn KV Cache ist usw...
Es ist so, Multi GPU per Layer-Splitting ist tatsächlich nicht heikel in der PCIe-Anbindungsbandbreite, das kann man schon so machen. Allerdings muss man aufpassen bei Chipset-Lanes, wegen Resizebar etc., da müsste man im Anlassfall genauer nachsehen, ob das laufen wird. CPU Lanes sind Easy.
Realistisch gibts aber keine Boards, die mehr als 2 PCIe Karten auf ner CPU laufen lassen, unabhängig von der Anbindung.
Du brauchst auch ne gewisse Ausgewogenheit zwischen Speicherbandbreite im VRAM, Rechenleistung selbst und VRAM-Größe. iGPUs können zb. schnell mal 16gb VRAM, die Speicherbandbreite ist aber lausig (normaler RAM) und die Rechenleistung selbst eher gering, ist aber u.U, gar nicht sooo schlecht nutzbar, weil der VRAM Pool zumindest relativ groß ist (für die kleine Leistung).
Ne 3060 12gb wäre für den totalen Einstieg schon okay, wenn man sie günstig bekommen würde.
Wirklich lohnen tut ne Mi50/60 mit 16gb HBM. Das ist zwar auch alles bissl legacy-hassle, aber zumindest günstig und halbwegs flotter VRAM, da lernst was, auch wenn 16gb eigenltich zu wenig ist. Für SDXL-Pony Waifu reichts aber.
Dass es CUDA sein muss ist ne Geschichte aus 2023. Gut, Sonderfälle sind immer zu checken, so isses nicht.
