Aktueller Inhalt von buzzzer

Kaufen Du musst :banana: Spiele mit den Agenten noch rum. War nach Hermes bei Pi. Aber für normale Fragerei hab ich wie Du Jan.ai. Das vllm stellt eine Openai kompatible API bereit.

Hatte vor zwei Wochen Glück und habe noch eine bei Kleinanzeigen geschnappt. Hab mit einer schon vllm genutzt. Ist einfach viel entspannter, weil sich andere um Treiber und Versionen kümmern und der Rumms einfach läuft. Habe aktuell das hier: https://codeberg.org/ggz14/radiance-vllm-mxfp4...

Würde auch bei Windows bleiben wenn es schon drauf ist. LMStudio soll auch sehr einsteigerfreundlch sein. Kannst ja einfach ausprobieren. Oder halt direkt WSL2 installieren. Dann könntest Du auch sowas nutzen: https://github.com/noonghunna/club-3090 Ich hab jetzt mal Ubuntu 22.04. genommen für...

https://www.bosgamepc.com/products/bosgame-m5-ai-mini-desktop-ryzen-ai-max-395?sku=18073504178329773749034095 Auch ne Chinabude. Aber das Ding hatten viel getestet und läuft wohl wie die anderen. Im Garantiefall, kein Plan.

@butcher1de Bei den KI Vergleichen muss man auch immer aufpassen. Ist einfach nicht mehr aktuell, dass die Qwen2.5 vergleichen. Bei 32GB halt auch 26B Modelle und nicht 8b :D Ich hoffe Du willst den MacMini auch für andere Dinge nutzen. Ansonsten sind 2k für 170 GB/s Bandbreite echt schwach...

Moin. Ich suche RAM 🥸 Bisher hatte ich mich nur mit "normalen" DDRx Ram beschäftigt und DDR4 ECC UDIMM. Es sollen 64Gb evtl. ja nach Preis auch 128GB werden. Soll rein in einen Dell 5820. Der verbaute XEON W2135 kann wohl maximal 2666MHz. Wonach suche ich? RDIMM 2666? Mist die sind ja auch nicht...

Ist mir schon klar, dass es ein Risiko ist mit den Mod 3080er. Aber Käse ist es nicht. Viele kaufen für 1000€ eine 3090. Dafür gibts halt zwei von den Chinabombern. Intel will keiner so richtig anfassen, das wird schon Gründe haben.

Ich habe heute mal Pi ausprobiert. Kein Plan was Du vom Hermes so brauchst, aber der Unterschied im Kontext ist immens. Die anderen Agenten sind einfach überladen. Pi regelt oder wie sagt man heute? Probier es mal, der ist schnell und gut. Mit Qwen3.8 27b hab ich heute in 1-2 Stunden ne bessere...

Wie hast Du es gemacht? Treiber und ROCm nur in VM/LXC? Komplette Karte durchgereicht?

Ich weiß garnicht wie genau, aber mein Hermes ist kaputt. Bei Lösungsfindungen versucht er immer dasselbe und irgendwann hört er einfach auf. Liegt nicht am Kontext, sondern am OpenAI llm Provider, also Ollama in meinem Falle. Ich hab ihm die Logs gegeben um es zu prüfen. Da hat der Schlingel...

Hm das sehe ich garnicht direkt in Hermes. Ich hoffe Du hast ne AMD bestellt. Da kann ich von profitieren :)

Oh man ok. Und ich wundere mich warum das MoE schneller ist. Danke. Ich probiere da nochmal rum. Gerade mit dem normalen GGUF Qwen Upps, ja die 7900XTX. Im Ollama hab ich eh schon dies drinne: Environment="OLLAMA_CONTEXT_LENGTH=65536" Environment="OLLAMA_FLASH_ATTENTION=1"...

Qwen soll auf jeden Fall auch besser für Hermes sein. Gemma4 ist aber 2-3 mal schneller. Da bin ich dann schnell ungeduldig, vor allem wenn was nicht klappt. Ich teste nochmal ein "normales": hf.co/unsloth/Qwen3.6-27B-GGUF:UD-Q4_K_XL Meinst Du nicht dass...

Ich hab das hier gefunden und einfach mal probiert. https://www.reddit.com/r/hermesagent/comments/1tn4lye/qwen3627b_community_variants_the_definitive_guide/ Im Moment lande ich dann immer wieder beim gemma-4-26B-A4B. Ist schneller und es klappt auch mehr. Aber noch verstehe ich nicht, warum...

Keine Ahnung ich hab meinen Hermes wohl schon kaputt gemacht. Der macht jedes mal die gleichen Fehler und dreht sich dann ganz schnell im Kreis. Und hey die Aufgabe war erstmal nur einen LXC anzulegen. Am besten ist: Schönes Wochenende 8-)