Aktueller Inhalt von buzzzer

Wie hast Du es gemacht? Treiber und ROCm nur in VM/LXC? Komplette Karte durchgereicht?

Ich weiß garnicht wie genau, aber mein Hermes ist kaputt. Bei Lösungsfindungen versucht er immer dasselbe und irgendwann hört er einfach auf. Liegt nicht am Kontext, sondern am OpenAI llm Provider, also Ollama in meinem Falle. Ich hab ihm die Logs gegeben um es zu prüfen. Da hat der Schlingel...

Hm das sehe ich garnicht direkt in Hermes. Ich hoffe Du hast ne AMD bestellt. Da kann ich von profitieren :)

Oh man ok. Und ich wundere mich warum das MoE schneller ist. Danke. Ich probiere da nochmal rum. Gerade mit dem normalen GGUF Qwen Upps, ja die 7900XTX. Im Ollama hab ich eh schon dies drinne: Environment="OLLAMA_CONTEXT_LENGTH=65536" Environment="OLLAMA_FLASH_ATTENTION=1"...

Qwen soll auf jeden Fall auch besser für Hermes sein. Gemma4 ist aber 2-3 mal schneller. Da bin ich dann schnell ungeduldig, vor allem wenn was nicht klappt. Ich teste nochmal ein "normales": hf.co/unsloth/Qwen3.6-27B-GGUF:UD-Q4_K_XL Meinst Du nicht dass...

Ich hab das hier gefunden und einfach mal probiert. https://www.reddit.com/r/hermesagent/comments/1tn4lye/qwen3627b_community_variants_the_definitive_guide/ Im Moment lande ich dann immer wieder beim gemma-4-26B-A4B. Ist schneller und es klappt auch mehr. Aber noch verstehe ich nicht, warum...

Keine Ahnung ich hab meinen Hermes wohl schon kaputt gemacht. Der macht jedes mal die gleichen Fehler und dreht sich dann ganz schnell im Kreis. Und hey die Aufgabe war erstmal nur einen LXC anzulegen. Am besten ist: Schönes Wochenende 8-)

Ich spiele gerade mit Hermes Agent herum. Finde es eigentlich sehr geil, aber irgendwie klappen die einfachsten Dinge manchmal nicht. Ich hab z.B. für Proxmox nen API Key erstellt, damit der Agent damit den Admin auf einer Testkiste sein kann. Dann weiss er manchmal nicht mehr wie er auf den...

Moin. Proxmox installiert, am Host nichts geändert und siehe da: mit Vulkan läuft es bei mir jetzt. In Verbindung mit der 7900XTX steht halt überall was von ROCm. Aber auch von sehr vielen Problemen. In der Ollama Config musste ich garnix anpassen. Danke. edit: Manchmal "verliert" der LXC die...

Ich hab jetzt soviel herumgespielt, dass ich selbst keinen Überblick mehr habe. Es gab Probleme mit der iGPU, daher hatte ich sie deaktiviert. Ubuntu hab ich nun zweimal installiert, aber mit den Zusammenspiel, Kernel - Firmware - Treiber / ROCm oder Vulkan wird es nix. Claude und Gemini sind...

Es ist ein graus :) Nach einem Update heute morgen läuft es jetzt nicht mehr. Es passen wieder Versionen nicht zueinander. Vielleicht muss ich mal auf den Vulkan steigen.

Der Rechner ist ja nur für LLM "ausprobieren" gebaut. Ich hätte Proxmox genommen, weil mein Homeserver damit seit Jahren sehr gut läuft. Aber ich musste da nie mit Kerneln hantieren. Ich wollte auch gern erstmal "schnell ein Ergebnis". Mit Ubuntu 24.04. hatte ich über WE auch so meine...

Moin, erste Versuche ein System aufzusetzen scheitern. Ich Trottel hatte mal einen 8PIN Stecker am Netzteil nicht angeschlossen. Ist erst nicht aufgefallen, weil die 7900XTX trotzdem geleuchtet hat wie ein Tannenbaum. NVMe umgebaut, TB ausgeschaltet und x Einstellungen im BIOS angepasst. 3...

Heute soll das Case kommen, dann kann ich die Kiste zusammenzimmern. Werde direkt Proxmox draufhauen. Wenn man OpenWebUI mit Ollama oder Ollama mit den CommunityScripts installiert (*keineSteinewerfen*), wird eine vorhandene Grafikkarte erkannt und die benötigten repos installiert.

Gut die sind mir dann auch erstmal zu groß. Son MaxiMax :) werde ich wohl erstmal nicht brauchen. Hab die XTX für 630€ über Kleinanzeigen bekommen. Werde jetzt mal den 250K und das Aero G bestellen und lege damit los.