Was das?
- llama und sunshine wegen GPUs
ollama und llama.cpp laufen im privileged lxc, zumindest auf der vega iGPU mit vulkan, und wenn das geht, geht ROCm und Cuda mit höchster Wahrscheinlichkeit auch,
Ist zwar ein bissl ein Speißrutenlauf zum konfigurieren, sowohl mit claude free als auch mit gemma 4 26b/31b und gwen 27b/35b lokal bekommt man das aber hin.
LXCs sind doch auch problemlos migrierbar auf einem Cluster, also HA. Das Argument verstehe ich nicht. Hatte ich selbst lange so laufen.
Kann ich mein LXC irgendwie von meinem Testsystem auf mein Produktivsystem "übersiedeln"? (Testsystem und Produktivsystem sind bei mir weitgehend gleich (beides Cezanne CPUs, 5650G, 5750G, die Mainboards beide B550, die Unterschiede im Detail sind da höchstwahrscheinlich egal), sollte also laufen (evtl. sind die Device IDs von den Passthrough Sachen anders, aber das kann man ja fixen).)
Wie mach ich das am einfachsten?
ch kanns gar nicht mehr sicher sagen, war irgendwas mit NAS Freigaben und mehr Kram, der mit LXCs teilweise nicht so wirklich funktioniert.
Kann natürlich alles sein, wer weiss das schon.
Ich muss an dieser Stelle eine Lanze brechen für die KI (ich stehe so allgemein diesen Entwicklungen sehr skeptisch gegenüber und habe meine Zweifel, ob mit KI jetzt alles besser wird - aber das ist OT), da ist auch für den kleinen Mann wie mich deine sinnvolle Fehlersuche und irgendwelche Kunstgriffe möglich.
Die Cezanne iGPU im LXC verwenden, das hätte ich ohne copy&paste aus der KI nicht hinbekommen (oder ich hätte so viel Zeit & Recherche benötigt, dass ich es höchstwahrscheinlich einfach nicht gemacht hätte).
Ist schon cool, dass dabei auch tatsächlich was hilfreiches rausschaut.
