Ich schmeiß mal imho ne gute Alternative in den Raum, ist aber ein wenig mit Basteln verbunden.
AMD Radeon Instinct MI50 mit 32GB HBM2 (gibt es als 16GB und auch als 32GB Version)
AMD Vega 20, 1746 MHz, 3840 Cores, 240 TMUs, 64 ROPs, 16384 MB HBM2, 1000 MHz, 4096 bit
www.techpowerup.com
Die Karte wird gerade aus diversen Rechenzentren / Super Computern entsorgt (BigData) und entspricht weitestgehend einer VEGA VII 16GB bzw. Radeon Pro VII (bzw. V420 als 32GB Version) nur halt ohne Display Output. Dank HBM Speicher lassen sich die Karten mit überschaubarem Aufwand z.B. auf eine 120er AIO (CPU Version) umrüsten oder man klemmt einen gedruckten FAN Adapter dahinter.
Die Karte verfügt über einen MiniDiplay Port welcher aber ohne Funktion ist, es lässt sich aber das Radeon Pro VII Bios flashen und dann läuft die Karte auch unter Windows mit passenden Windows Treibern und mit Display Output! Unter Linux läuft die Karte auch so (ohne Bios Flash) via Ubuntu und AMD ROCm!
16GB Hier:
https://www.ebay.de/itm/146072789356
32GB Hier:
https://www.ebay.de/itm/136249976781
Mit eBay Rabatt Gutscheinen kommt man aktuell für die 16GB Version auf
~83€ und für die
32GB Version auf
~182€
Der MSRP einer Instinct MI50-16 und 32GB lag mal zwischen 3000 - 5000USD.
Da es diese Infinity Fabric Link (IFL) Bridge aktuell nicht zu kaufen gibt, würde ich direkt zur 32GB Version greifen! Ein Set aus mehren Karten ist möglich, aber die Performance leidet etwas darunter ohne die IFL Bridge. Die Kommunikation (Overhead) muss dann über den PCIe Bus.
Ich habe jeweils eine Instinct MI50-16GB und eine 32GB Version hier, die Performance unter Windows + Vulkan support im LM Studio ist in etwa identisch solang das Sprachmodel in den Speicher der Karte passt! Beispiel: Mit gpt-oss-20b erreicht die MI50 etwa ~65 tok/sec, meine RTX 5070Ti 16GB etwa ~160 tok/sec. Ist das Sprachmodel größer sieht die RTX 5070TI mit 16GB kein Land da großzügig ausgelagert werden muss.
Edit: Man könnte über zwei MI50 nachdenken und hätte dann 64GB, aber ohne IFL wird es etwas langsamer, aber immer noch besser als in den Hauptspeicher der CPU auslagern. Mit dem Bios Flash zur Radeon Pro VII / V420 lässt sich darauf sogar auch noch gut zocken (dual use).
Edit2: Ich habe hier auch noch eine nVidia Tesla M60 mit 16GB (Dual GPU mit 2x8GB), aber die ist nur halb so schnell bevor du dir weitere Gedanken zu einer K80 machst.
Edit3: Hat Jemand Kontakte nach Taiwan?
規格: 2-SLOT 雙槽位, 3-SLOT 三槽位, 直購價: 33992 - 33992, 庫存: 99, 物品狀況: 全新,物品所在地: 台灣.桃園市, 價格更新時間:, 上架時間: 2023-09-13, 分類: 電腦電子 > 電腦周邊設備 > 其他電腦周邊設備, 賣場: 超級嚴選の賣場, #手工製品 #有多種顏色 #原廠保固 #專櫃正品 #可開發票 #有多種尺寸
www.ruten.com.tw
