Sammelthread CachyOS Gaming

[Pirate85]

Nicht ganz, ist meine Mini-KI-Workstation (GMKtec Evo-X2, 64Gb Version).

Der "Power" Teil unten repräsentiert den aktuellen [Hardware] Powermode, daneben "Online" zeigt mir, ob der Treiber sauber via DKMS geladen und initialisiert wurde.

Habe auch ne Custom-Lüfterkurve implementiert die bei jedem Boot in den EC geschrieben wird ---> Leider ist keine richtige "Lüftersteuerung" möglich, da gibts nur 5 Lüftermodi, deren PWM Wert, Rampup und Rampdown man aber anpassen kann ---> Rudimentäre Lüftersteuerung möglich.

 

[Hoto]

Na ob die Workstation so lange durch hält?

Hab die gleichen Lautsprecher (ohne Licht) auch hier rumstehen, daneben sieht der echt klein aus.

 

[Pirate85]

Ist auch echt klein (BxHxT ~8x19,5x18,5cm)

Die Kühlung ist sehr potent tatsächlich, so potent das ich ihn im Idle Lautlos laufen lassen kann... bei normalen Lasten läuft er ~1500Rpm was akustisch echt voll okay ist. Nur unter Volllast dreht er auf 2500rpm auf, was gerade noch im "Ok" Bereich liegt.

Da erreicht er - dank PTM Kur - maximal 81°C ... das ist völlig unbedenklich.
Ich könnte quasi weiter runter mit den Drehzahlen... aber wenn ich Arbeite ist es egal - leise Musik und die Lüfter hört man nicht mehr.

Idle:

 

[Hoto]

Puh, teurer Spaß, aber bei den Speicherpreisen auch kein Wunder.

 

[Pirate85]

Höre mir auf... ich war 2ms davor mir die 128Gb zu kaufen weil ich immer mal am Limit der 64Gb kratze. 😬
Wobei die Preise für den X2 noch gehen... guck dir mal den X5 an... da springt dir die Brain.exe direkt in den Mülleimer. 🤯

 

[Hoto]

Kann es mir denken, habe gerade mal auf Geizhals geguckt, weil die auch eine Langzeitpreisentwicklung haben, deiner war am Anfang sogar teurer (~2400 Euro) als er jetzt ist. Da kann ich mir schon denken was ein aktuelleres stärkeres System mit gar noch mehr RAM kostet. Ziemlich sicher jenseits der 5000 Euro Grenze.

 

[Pirate85]

Ich habe meinen durch... glückliche... Umstände für 2k gekauft (Sonst Zoll --> nochmal 400 Extra = 2400€)... die 128er Version würde mich 3.3k kosten... Das wären für 64Gb Ram 1.3k Extra.
Ich bin nach wie vor am hin- und herüberlegen...

Cool wäre halt, das ich meine NVMe einfach tauschen könnte... hier raus, in den 128er rein ---> Selbe Hardware, nur mehr Speicher ---> Keine Probleme.
Aber 1.3k extra...

Andererseits kostet der X5 mit Ryzen Ai Max+ 495 und 192Gb Ram mal eben 6.6k

 

[ThuNd3r1982]

Passt hier nicht so richtig rein, bin ja erst zu Fedora und mittlerweile Ubuntu ( )

Aber ich hab was ähnliches mit meiner [Lokalen] KI gebaut:
Anhang anzeigen 1236739

Darauf ausgelegt extrem kompakt zu sein (Ist auf dem 10" Touch Monitor unter meinem Hauptmonitor).

Darf ich mal fragen mit welcher lokalen KI du das gemacht hast?

 

[Pirate85]

Qwen3.8-27b

 

[ThuNd3r1982]

Ich versuche das auch gerade mit Qwen aber er schlägt mir nur vorhandene Pakete vor

 

[Pirate85]

^^ Was für nen LLM Frontend Client nutzt du?
Ich bin hier über LM Studio unterwegs, ist - für mich - das einzig wahre.

 

[ThuNd3r1982]

Ich habe es über Ollama installiert. Alles im Terminal.

 

[Pirate85]

Das geht natürlich auch, aber ist mit den Tools schwierig...
Probiere mal LM Studio - da kannst du Tools direkt einbinden 🙂 (Außerdem das einzige *Programm wo bei mir der ROCm Support tatsächlich und ohne Probleme funktioniert).

 

[ThuNd3r1982]

Ich probiere es mal aus. Was ist denn ROCm? Sorry aber bin was das angeht noch nicht so auf der höhe.

 

[Pirate85]

Bin ich auch nicht, arbeite mich seit Samstag da wie nen Irrer ein. (Habe die Woche Urlaub und muss 3 Projekte fertig bekommen)

Es gibt mehrere Schnittstellen via GGUF... für CUDA (nVidia), ROCm (AMD) und allgemein (Vulkan). Für deine AMD Karte wäre ROCm natürlich das Optimum weil das eben der entsprechende Treiber für solche Späße ist... bisher war das aber unter Linux ziemlich schwierig ordentlich zum laufen zu bekommen...

Um nicht zu sagen dass das nen reines Minenfeld war

Seit 3 Tagen nun aber schon kommt ein ROCm llama.ccp nach dem anderen welches perfekt mit dem ROCm Treiber von AMD (Bei mir unter Ubuntu zumindest) arbeitet ---> Wesentlich schneller als das Vulkan Backend was ich vorher verwendet habe.

 

[ThuNd3r1982]

Also ist ROCm eine Qwen Version auf AMD Karten zugeschnitten oder wie darf ich das verstehen? Oder ist das der Grafiktreiber?

 

[Pirate85]

Nein. ROCm ist der Treiber um deine AMD Hardware (Grafikkarte) für LLMs zugänglich zu machen.

Es geht auch über den normalen Grafiktreiber (Mesa) - dann musst du einfach das entsprechende Vulkan Backend nutzen. 🙂

Hau einfach mal Gemini (Oder Siri) auf deinem Telefon/PC an - die erklärt es dir sehr gut. ☺️
Verwende im übrigen auch Ollama - als Hintergrunddienst um z.b. Page Assist im Firefox zu befeuern. (da nehme ich nen kleines Modell für - DeepseekR1-8b)

 

[ThuNd3r1982]

Ah ich verstehe. Also vielleicht noch eine andere Linux Distrubtion installieren für sowas? Weil hier unter CachyOS zocke ich nämlich meistens.

Ich sehe hier gerade das es von Qwen ja sehr sehr viele unterschiedliche Modelle gibt.

Da weiß man doch gar nicht welches man installieren soll...

 

[Pirate85]

Jep... die Qual der Wahl - aber du musst erstmal rein nach Qwen3.8-27b suchen. Erstmal mit dem Standardmodell arbeiten - die Abwandlungen sind alle auf Dinge spezialisiert.

Mich würde aber mal interessieren wie du nen 27b Modell effektiv nutzen möchtest - du hast 16Gb VRAM und das Modell (zumindest das 27b) frisst alleine 17,7Gb ---> Größer als dein Speicher.
Kannst also schonmal keinen vollen GPU Offload machen, das bremst ordentlich.

 

[ThuNd3r1982]

Ich möchte mir auch ein Hardwaremonitor Overlay basteln. Meinst das geht mit meiner Karte nicht?

 

[Pirate85]

Das geht schon, aber da du das Modell nicht komplett in den Speicher bekommst wirds eventuell nicht ganz so schnell laufen. (und achte auf den KV Cache! Am besten Asymetrisch nehmen, Qwen3.8 lässt das zu... K Cache auf Q8 und V Cache auf Q5_1) - Gemini/Siri/wasauchimmer erklärt dir das.

Das würde den Rahmen hier pulverisieren. 😆

Ansonsten; Ich habe iwo noch nen Overlay für den KDE Plasma Systemmonitor rumfliegen was ich benutzt habe - du müsstest deine aktuellen Daten sichern und das einfach mal drüberbügeln ---> Vielleicht klappts (Musst die entsprechenden Sensoren dann einfach via GUI auf dein System anpassen)

 

[ThuNd3r1982]

Muss mich da erstmal reinfuchsen. Gar nicht so einfach das ganze. Aber danke dir erstmal 😎

Der Download über LM studio ist allerdings ganz schön lahm.

 

[Pirate85]

Ich hab dir mal ne PN geschickt. Wir sind hier - sehr - Offtopic.

 

[L_uk_e]

Das ganze wird irgendwie extrem OT.
Könntet ihr für diese Hardwareinfos nicht einen separaten Thread erstellen? Das ist ja auch nichts CachyOS spezifisches.

 

[Pirate85]

Beim Monitor war ich noch mitgegangen weil OS unabhängig und eben als Überwachung sehr gut geeignet... Aber du hast völlig Recht. 👍🏻