Suchergebnisse

Hö? Meine 6900XTX läuft mit ROCm und Ollama prima unter Linux. https://github.com/ollama/ollama/blob/main/docs/linux.md //Edith: Schon mal damit probiert? https://github.com/ByronLeeeee/Ollama-For-AMD-Installer

Nur für Rendering, aber der Ansatz ist schon mal gut. =)

shut up and take my money! :fresse:

Ja, leider, die CPU ist mir zu lahm und ich bin auf der Suche nach nem Beschleuniger, der normales RAM nutzen kann, weil ich nur 8 GB VRAM im Server hab... RAM hab ich im (relativen) Überfluss...

Interessant, läuft der mit Ollama? Hatte schonmal danach gesucht, aber nach ca. ner Stunde nichts sinnvolles gefunden...

Eigentlich gings um die ollen X710er, die LLDP, LACP und VLAN nich so richtig gut können.

Danke dir, again what learned. =)

ah, ok. Gerade bei meiner nachgeschaut. Ging im UEFI ohne Probleme auszuschalten (hab letztens erst unter Linux auf 9.53 oder so geflasht). Mal sehen, ob sich groß was verändert... //Edith: MLAG ist doch nur was für Switches und höchst proprietär? LACP ist doch das Nachfolgeprotokoll dafür...

Die Antistatik-Folie fehlt da noch irgendwo... :fresse:

Warum, wozu brauchst du LLDP? PoE kann SFP eh nicht und im allgemeinen hab ich bei meiner X710 (nur ne dual) noch kein LLDP-Problem gehabt(?). Wie äußert sich das? Wenn, dann würde ich das LACP-Problem erwähnen, wobei auch hier fraglich ist, ob du zwei 10G-Schnitten zu einem Trunk kombinierst...

https://www.golem.de/news/vm-ausbruch-moeglich-vmware-luecken-lassen-hacker-ganze-cloudumgebungen-kapern-2503-193951.html Patchen, würd ich sagen... =)

Bug-Alert? Da kann das Skript wohl nix mit ENX-Interfaces anfangen... //Edith: Oder iproute2 / Kernel macht Stress. //Edith2: iproute2: https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1567744/comments/3

Joa, sicher ein geiles Teil, kann man auch prima als Core-Switch einsetzen. =) E1.L und E3.L, die neuen Stick-Formate für NVMe-SSDs (oder eben die Short-Version .S, E3 sind die Bauformen für 2 HE, die kann ja auch waagerecht eingebaut werden). Die 50 GBit sind aber zu externen Speichern, intern...

Und 2k €... Schade, hätte man nicht eher auf die E.xL setzen sollen? Zudem ist die CPU zu schwach...

--verbose an den ollama-Aufruf: z.B. ./ollama run WizardLM-7B-uncensored.Q6 "Warum ist der Himmel blau?" --verbose

Warum? Wie wird es im Rechenzentrum gemacht? Kann mir gerade nicht vorstellen, dass da extra HW verbaut wird. Der ganze Kram geht auf ein VLAN, in das nur bestimmte Ports Zugang haben. Rock, fertig, aus. Die Workstation sollte idealerweise mehrere Netzwerkkarten haben, da kann eine an nen...

Ich hab so nen stino SAS3008 drin, gibts für ca. 35 Tacken in der Bucht, brauchst aber noch 1..2 viereckige U.2-Kabelpeitschen dafür (SFF-8643)... Der kann mit einem Kabel 4, mit zweien 8 und mit ner passenden Backplane mit einem Kabel mindestens 12 Platten (so hab ichs :fresse:). //Edith: Nen...

Du musst unten "Apply" drücken... =)

Da wir hier im 10G Thread sind, gehe ich mal davon aus, dass ein - wie auch immer gearteter - Switch der Mitforisten mindestens einen dickeren Uplink-Port hat. Somit sollte sich das Problem gegessen haben. WLAN hat sicher (enorme) Fortschritte gemacht, in punkto Stabilität wird es jedoch...

Kurze Frage: Wieso laggt llama3.3 wesentlich mehr, als llama3.1, wenn ich es rein CPU-beschleunigt ausführen lasse? Beide Modelle passen komplett in den Hauptspeicher. Sind größere Modelle tatsächlich llahmer? (haha) Allerdings habe ich nicht auf die NUMA-Konfig geachtet, es könnte also sein...