Suchergebnisse

Wie hast Du es gemacht? Treiber und ROCm nur in VM/LXC? Komplette Karte durchgereicht?

Ich weiß garnicht wie genau, aber mein Hermes ist kaputt. Bei Lösungsfindungen versucht er immer dasselbe und irgendwann hört er einfach auf. Liegt nicht am Kontext, sondern am OpenAI llm Provider, also Ollama in meinem Falle. Ich hab ihm die Logs gegeben um es zu prüfen. Da hat der Schlingel...

Hm das sehe ich garnicht direkt in Hermes. Ich hoffe Du hast ne AMD bestellt. Da kann ich von profitieren :)

Oh man ok. Und ich wundere mich warum das MoE schneller ist. Danke. Ich probiere da nochmal rum. Gerade mit dem normalen GGUF Qwen Upps, ja die 7900XTX. Im Ollama hab ich eh schon dies drinne: Environment="OLLAMA_CONTEXT_LENGTH=65536" Environment="OLLAMA_FLASH_ATTENTION=1"...

Qwen soll auf jeden Fall auch besser für Hermes sein. Gemma4 ist aber 2-3 mal schneller. Da bin ich dann schnell ungeduldig, vor allem wenn was nicht klappt. Ich teste nochmal ein "normales": hf.co/unsloth/Qwen3.6-27B-GGUF:UD-Q4_K_XL Meinst Du nicht dass...

Ich hab das hier gefunden und einfach mal probiert. https://www.reddit.com/r/hermesagent/comments/1tn4lye/qwen3627b_community_variants_the_definitive_guide/ Im Moment lande ich dann immer wieder beim gemma-4-26B-A4B. Ist schneller und es klappt auch mehr. Aber noch verstehe ich nicht, warum...

Keine Ahnung ich hab meinen Hermes wohl schon kaputt gemacht. Der macht jedes mal die gleichen Fehler und dreht sich dann ganz schnell im Kreis. Und hey die Aufgabe war erstmal nur einen LXC anzulegen. Am besten ist: Schönes Wochenende 8-)

Ich spiele gerade mit Hermes Agent herum. Finde es eigentlich sehr geil, aber irgendwie klappen die einfachsten Dinge manchmal nicht. Ich hab z.B. für Proxmox nen API Key erstellt, damit der Agent damit den Admin auf einer Testkiste sein kann. Dann weiss er manchmal nicht mehr wie er auf den...

Moin. Proxmox installiert, am Host nichts geändert und siehe da: mit Vulkan läuft es bei mir jetzt. In Verbindung mit der 7900XTX steht halt überall was von ROCm. Aber auch von sehr vielen Problemen. In der Ollama Config musste ich garnix anpassen. Danke. edit: Manchmal "verliert" der LXC die...

Ich hab jetzt soviel herumgespielt, dass ich selbst keinen Überblick mehr habe. Es gab Probleme mit der iGPU, daher hatte ich sie deaktiviert. Ubuntu hab ich nun zweimal installiert, aber mit den Zusammenspiel, Kernel - Firmware - Treiber / ROCm oder Vulkan wird es nix. Claude und Gemini sind...

Es ist ein graus :) Nach einem Update heute morgen läuft es jetzt nicht mehr. Es passen wieder Versionen nicht zueinander. Vielleicht muss ich mal auf den Vulkan steigen.

Der Rechner ist ja nur für LLM "ausprobieren" gebaut. Ich hätte Proxmox genommen, weil mein Homeserver damit seit Jahren sehr gut läuft. Aber ich musste da nie mit Kerneln hantieren. Ich wollte auch gern erstmal "schnell ein Ergebnis". Mit Ubuntu 24.04. hatte ich über WE auch so meine...

Moin, erste Versuche ein System aufzusetzen scheitern. Ich Trottel hatte mal einen 8PIN Stecker am Netzteil nicht angeschlossen. Ist erst nicht aufgefallen, weil die 7900XTX trotzdem geleuchtet hat wie ein Tannenbaum. NVMe umgebaut, TB ausgeschaltet und x Einstellungen im BIOS angepasst. 3...

Heute soll das Case kommen, dann kann ich die Kiste zusammenzimmern. Werde direkt Proxmox draufhauen. Wenn man OpenWebUI mit Ollama oder Ollama mit den CommunityScripts installiert (*keineSteinewerfen*), wird eine vorhandene Grafikkarte erkannt und die benötigten repos installiert.

Gut die sind mir dann auch erstmal zu groß. Son MaxiMax :) werde ich wohl erstmal nicht brauchen. Hab die XTX für 630€ über Kleinanzeigen bekommen. Werde jetzt mal den 250K und das Aero G bestellen und lege damit los.

Hm, das macht mir Angst. Ich habe jetzt viel gelesen, dass 24GB ein Sweetspot sein soll. Daher hab ich ja die 7900XTX gekauft um damit zu starten. Ich wolte auf das Z890 Aero G und einen 250k gehen (ABER siehe unten). Was ich so gelesen habe, ist es einfacher die zum Laufen zu bekommen, gerade...

Vielen Dank für die sehr ausführliche Antwort. Ich habe in den letzten Wochen schon ein wenig herumprobiert. LXC mit OpenWebUI auf meinem Proxmox Server und via Ollama die 5080 von meinem GamingPC genutzt. Das hat mich aber genervt, dass ich den immer laufen haben musste. Da habe ich gelernt...

Ist das hier "unser" LLM Thread? Falls nicht sorry fürs reingrätschen. Ich habe eine 7900XTX gekauft um damit lokal herumzuspielen. 32GB DDR5 RAM und ein Netzteil hab ich noch da. Gibt es bezogen auf lokale KI einen Vorteil bei Intel 1851 oder AM5. Evtl. wegen der Speicher Anbindung oder so...

Hallo zuammen, ich bräuchte mal Euer Schwarmwissen, In meinen Server kommt jetzt eine 7900XTX um mit lokaler KI herumzuspielen. Problem ist nun, mein Board ist zu klein um Graka und LSI HBA aufzunehmen. Also brauche ich ein anderen AM4 Board. Aktuell habe ich: ASUS TUF Gaming B550M-Plus mit...

Getestet wurde die Expert, verlinkt habt ihr die Expert OC. Bei Alternate kostet die normale 1039€