Aktueller Inhalt von Supaman

Die Frage wäre, welche Parameter bei Deinem UseCase den größten Effekt haben wie und wie die gewichtung ist: Menge des Rams, Ram Speed, mehr CPU Kerne oder möglichs hoher Takt, Speed der Datnträger, OS Optimierung, Netzwerk Speed/Latenz... so viele Stellschrauben ...

Ganz wichtig: nativ installieren, auf gar keinen Fall als Docker!! Am besten unter Linux.

Bissl User Eingriff ist gut... es gibt <teilwese> echt harte Nüsse,wenn die Hermes config angepasst werden muss, hier mal paar Beispiele: Bilderkennung mit Minmax: geht nicht out-out-thebox, da MM keine OpenAi kompatible API verwendet. Musste vom Agenten erst einen Fix schreiben und...

Bekanntes problem - für Konfig Änderungen / Reparaturen, Erweiterung der Installation brauchst Du ein starkes Modell, Deepseek v4, Claude, Minimax etc. Wenn das dann läuft kannst Du auf was anderes runterschalten und testen, aber: schau Dir vorher die Hermes konfig Einträge an, damit Du das...

Ihr könnt Hermes anweisen, das er einen generischen LLM Benchmark Skill anlegen soll. Und den könnt Ihr dann einfach gegen die Modelle laufen lassen. Damit kann man dann sher schön und mit wenig Aufwand unterschiedliche Setups abklopfen.

Ist die "Auto-Fix" funktion auch ein AI Feature ?

Das kann ich Dir sagen: weil Sie faul sind oder weil sie mit dem Base Setup von Debian + Docker überfordert sind, und dann eine LXC Docker Instanz mit einem copypaste 1-Zeiler erzeugen. Dabei ist das alles kein Hexenwerk, und die KI des Vertrauens hilft auch gerne weiter. Man kann mit der KI...

Ich habe beides - Cluster mit CEPH und mehre Single Nodes. Das ist aber nicht der ausschlaggebende Faktor. Meine Defintion von "produktiv" ist: wird sinnvoll genutzt / hat eine Aufgabe. Und an der Stelle ist es für mich eine Frage der Philosophie: ich habe eine Instanz gerne autonom, und...

Ein LXC ist nicht eigenständig, sondern setzt auf dem Host auf. Wenn Du den PVE aktualisiert, schlägt das auf den LXC durch - inklusive Anderungen am Kernal, und was Versionsänderungen am Debian noch so alles mit sich bringen. Bedeutet in der Praxis, Updates oder eine neuinstallation des PVE...

Jedenfalls nicht mit LXC, das nimmt man nur fürs testen, wenn man per 1-Zeiler mal ebene eine Software testen will. Für produktive Anwendungen nimmt man eine vollwertiges Linux Distro ohne GUI, das verbraucht nur minimal mehr Ressourcen und ist dafür komplett eigenständig. Das einfache Setup...

Teste doch mal, ob es besser läuft, wenn Du die GPU an eine dedizierte Linux VM durch reichst. Die paar Ressouzrcen mehr für eine Debian oder Ubuntu Instalaltion fallen auf VM Hosts i.d.r. nicht ins Gewicht, ist aber sauberer getrennt.

Ich habe die KI als Suchmaschine benutzt - ist aber häppchenweise zusammen getragen... Fazit: gibt derezit keine Option um größere Modelle lokal auf bezahlbarer Hardware laufen zu lassen. Idle Verbrauch von einem PC mit potenter GPU liegt halt nicht mehr im <30w Bereich wie man das mit einem...

Sinnvoll lassen sich nur LLMs betreiben die vollständig in das GPU Ram passen und noch genug Luft für Kontext etc berücksichtigen. Egal welchen technologischen Ansatz man wählt, der Knackpunkt ist immer die Speicherbandbreite. Hier mal eine Auflistung von mir bekannten Optionen: Spoiler: es...

https://www.amazon.de/dp/B0GWCJVM7Q Amd 3200u, 8GB Ram, 256 SSD - 170 Euro Auch wenn das etwas über Deinem eingestrebten Budget ist, bekommst Du halt deutlich mehr fürs Geld. So oder so ähnlich... einfach mal bei Amazon nach Mini PC suchen.

Korrekt ermittelt - GPu Offloading mit dense Modellen = schneck schneck. Das 26b A4B Modell ist ein MOE Modell, alle anderen Gemma 4 QAT sind sind dense Modelle. Leider gibt es Modelle > 26b nicht als MOE Modelle. Ich lasse die Tests immer von meinem Hermes Agenten machen - ich lade nur das...