Neuer AI-Server

Ein weiteres Problem außer dem Preis: ist überhaupt was lieferbar? Bei mir heißt es nun Dezember Ostern '27. :wall:
Lol. Und jetzt wieder 11.12.26 ... :stupid: Ja nu, recht wär's mir schon. :hail:
 
Wenn Du diese Anzeige nicht sehen willst, registriere Dich und/oder logge Dich ein.
Ich bin jetzt schon gespannt wie es am Ende ausgeht. :fresse:
 
Hat jemand Erfahrung mit KI Anbietern aus DE, z.b. weber.cloud, Balingen Bawü
Die bieten Deepseek 4.1 flash, eines der besten large LLM Modelle aus China an und das nicht arg teurer als Deepseek CN (small business Packet, ca 35,--/Monat).

Da lohnen sich teure Grafikkarten/Apple Rechner und lokale KI immer weniger und wenn dann nur als Ergänzung zu einer großen LLM

ps, Kostenvergleich
1794747474433.png


siehe: https://www.weber.cloud/deepseek-v4.1-flash.php
 
Zuletzt bearbeitet:
Ich schließe mich hier mal an. Hab seit Anfang des Jahres eine Arc A770 mit 16 GB in meinem homelab (R9 5950x mit 48 GB RAM).

Hab über das Jahr immer wieder neue Modelle probiert und versucht aus dem Ding performance zu kitzeln. Aktuell läuft Xe-Strata (ein Fork) mit Gyro-S Model in 3 bit Quant. Liefert so um die 12 TPS. Funktioniert ganz OK mit Hermes (läuft auf einem separaten RasPi 5) und kann schon ganz gut alleine arbeiten, allerdings eben Recht langatmig und tendiert zu overthinking bzw looping.

Es muss also etwas potenteres her mit mehr VRAM.

Was ist denn der aktuelle Geheimtipp für erschwingliche Karten?

Liebäugle gerade mit einer Instinct MI50 32 GB für 450€.
Beitrag automatisch zusammengeführt:

Hat jemand Erfahrung mit KI Anbietern aus DE, z.b. weber.cloud, Balingen Bawü
Die bieten Deepseek 4.1 flash, eines der besten large LLM Modelle aus China an und das nicht arg teurer als Deepseek CN (small business Packet, ca 35,--/Monat).

Da lohnen sich teure Grafikkarten/Apple Rechner und lokale KI immer weniger und wenn dann nur als Ergänzung zu einer großen LLM

ps, Kostenvergleich


siehe: https://www.weber.cloud/deepseek-v4.1-flash.php

Schau mal ins Kleingedruckte: Das ist ein reines B2B Angebot und alle Preise sind Netto, ohne Mwst. Zudem muss man 12 Monate Vorkasse zahlen.
 
Zuletzt bearbeitet:
Puh, du willst etwas Potenteres, mehr VRAM bringt halt nichts, wenn die Karte selbst es wieder ausbremst. Es hat seinen Grund wieso die nur 450 Euro für 32GB VRAM kostet.

Es gibt keinen offiziellem ROCm Support für die Karte mehr, weil zu alt. Gibt aber scheinbar einen inoffiziellen ROCm 7.2.1 Build.
Prefill ist recht langsam auf der Karte, die Generierung selbst sollte besser sein. Ob das am Ende aber bei viel mehr Leistung bringt, hängt wohl davon ab, wie schnell dein Prefill aktuell ist. Nicht das du schnellere Generierung aber langsameres Prefill hast, das ist bei einem KI-Agenten ebenso wichtig. Auch wie es mit dem Support von Strata für die MI50 aussieht. Die Generierung selbst könnte wohl 3-4,5x so hoch sein (40+ Token/s), wenn ChatGPT mit seinen Quellen recht hat. Prefill wohl so ~400+ Token/s. Hängt auch sehr vom restlichen Setup ab.

P.S. Achja, und die Kühlung ist auch nicht so nice. Das ist eine Server Karte, die ist nicht für normale Desktop Gehäuse ausgelegt und braucht eine extra Kühllösung. Und obendrauf zieht sie 300W.
 
Schau mal ins Kleingedruckte: Das ist ein reines B2B Angebot und alle Preise sind Netto, ohne Mwst. Zudem muss man 12 Monate Vorkasse zahlen.
Ich zahle jetzt für Claude das vierfache und möchte eigentlich keine Abstriche an der Qualität machen.
Strom wird ja auch immer teurer und viele zahlen für ihren Handyvertrag bereits mehr als die 9 Euro netto/Monat für das kleinste Packet bei Weber für Deepseek 4.1 flash. Bei Deepseek direkt kommt man mit 10 Euro schon sehr weit, ganz ohne Abo aber da hört halt der chinesische Geheimdienst mit.

Aber klar, ich will mehr als einen netten Chat über Reisepläne oder Kochrezepte, ich will Agenten, lokalen Zugriff, gutes Coding und saubere Sicherheitsaudits.
OpenSource Code bearbeiten bei Deepseek in China ist auch noch ok, lokalen root ssh, terminal oder filezugriff möchte ich den Chinesen (oder dem Trumpschen/ amerikanischen NSA) aber nicht geben.
 
Zuletzt bearbeitet:
Ob das am Ende aber bei viel mehr Leistung bringt, hängt wohl davon ab, wie schnell dein Prefill aktuell ist.

Sieht bei mir derzeit so aus in Strata mit dem Gyro-S Model und der Arc A770 + 24 GB System RAM

Speed MetrikOpen-WebUINativer Strata Benchmark
Prefill152,8 tok/s (48,5 s für 7.417 Input-Tokens, kalt)~93 – 175 tok/s (kurze Prompts)

261 – 282 tok/s (4K / 16K Batches)
Decode15,7 tok/s (15,0 s für 236 Output-Tokens)14 – 18 tok/s
Beitrag automatisch zusammengeführt:

Ich zahle jetzt für Claude das vierfache und möchte eigentlich keine Abstriche an der Qualität machen.
Strom wird ja auch immer teurer und viele zahlen für ihren Handyvertrag bereits mehr als die 9 Euro netto/Monat für das kleinste Packet bei Weber für Deepseek 4.1 flash. Bei Deepseek direkt kommt man mit 10 Euro schon sehr weit, ganz ohne Abo aber da hört halt der chinesische Geheimdienst mit.

Alles nachvollziehbar. Habe nur sagen wollen, dass das Angebot von weber.cloud wohl eher nichts ist für Privatpersonen.
 
Zuletzt bearbeitet:
Alles nachvollziehbar. Habe nur sagen wollen, dass das Angebot von weber.cloud wohl eher nichts ist für Privatpersonen.

Auch Privatpersonen wollen eventuell einen Bug in ihrer Windows Installation beheben lassen mit admin pw an die KI, haben Fragen zu Krankheiten oder ihrer Steuererklärung oder ihren Arbeitsalltag in der Firma oder wollen über Trump und Xi ablästern und vielleicht dann noch Urlaub in China oder USA machen. Und dafür brauchts eine KI Alternative zu Gemini oder Chat GPT aus USA oder Deepseek aus China. Eine lokale KI ist halt oft keine Alternative, weder von den Kosten noch der Leistung.

Dafür ab 9,-- + Mwst pro Monat (für die ganze Familie) ist doch ok, auch bei Gemini & Co kommt man gratis nicht arg weit.
 
Hardwareluxx setzt keine externen Werbe- und Tracking-Cookies ein. Auf unserer Webseite finden Sie nur noch Cookies nach berechtigtem Interesse (Art. 6 Abs. 1 Satz 1 lit. f DSGVO) oder eigene funktionelle Cookies. Durch die Nutzung unserer Webseite erklären Sie sich damit einverstanden, dass wir diese Cookies setzen. Mehr Informationen und Möglichkeiten zur Einstellung unserer Cookies finden Sie in unserer Datenschutzerklärung.


Zurück
Oben Unten refresh