Sir Diablo
Enthusiast
Hallo zusammen,
ich habe in den letzten Wochen einen Fork von sglang erstellt (für mich privat, nicht kommerziell, aber es dürfen gerne alle davon profitieren), mit dem es sinnvoll möglich ist, unterschiedliche GPUs zu paaren und sowohl vom Compute als auch vom VRAM zu profitieren – inklusive eines eigenen CCL, das selbst unterschiedliche Generationen von NVIDIA-GPUs direkt über PCIe (auch ohne ReBAR) „miteinander sprechen“ lässt (ohne NCCL). Auch mein „Kurztest“ zwischen einer 2080 Ti und einer Vega 64 war positiv (beide nur 256 MB BAR1).
Um das Ganze aber auch tatsächlich für vendor-gemischte Setups verfügbar zu machen, fehlt mir einfach eine aktuelle AMD-GPU.
Hätte mir vieleicht jemand von hier ein System mit halbwegs aktueller NV/AMD-GPU Kombo, auf das er mich für 1-2 Tage zum entwickeln drauflässt?
Nicht nur Gerede, hier Zahlen von einem frühen Entwicklungsstand:
https://github.com/noonghunna/club-3090/issues/845
Mein Fork:
https://github.com/efschu/htsglang/
Ich stand schon in Kontakt mit ein paar vLLM-Entwicklern, allerdings meinten die ziemlich arrogant: „Ist ’ne Nische, daher uninteressant. Tschüss.“ (Klar ist das (noch) ’ne Nische, weil es keine LLM-Engine gibt, die das kann …)
Vieleicht habt ihr ja Lust, dieses Open-Source-Projekt zu unterstützen?
Herzliche Grüße
ich habe in den letzten Wochen einen Fork von sglang erstellt (für mich privat, nicht kommerziell, aber es dürfen gerne alle davon profitieren), mit dem es sinnvoll möglich ist, unterschiedliche GPUs zu paaren und sowohl vom Compute als auch vom VRAM zu profitieren – inklusive eines eigenen CCL, das selbst unterschiedliche Generationen von NVIDIA-GPUs direkt über PCIe (auch ohne ReBAR) „miteinander sprechen“ lässt (ohne NCCL). Auch mein „Kurztest“ zwischen einer 2080 Ti und einer Vega 64 war positiv (beide nur 256 MB BAR1).
Um das Ganze aber auch tatsächlich für vendor-gemischte Setups verfügbar zu machen, fehlt mir einfach eine aktuelle AMD-GPU.
Hätte mir vieleicht jemand von hier ein System mit halbwegs aktueller NV/AMD-GPU Kombo, auf das er mich für 1-2 Tage zum entwickeln drauflässt?
Nicht nur Gerede, hier Zahlen von einem frühen Entwicklungsstand:
https://github.com/noonghunna/club-3090/issues/845
Mein Fork:
https://github.com/efschu/htsglang/
Ich stand schon in Kontakt mit ein paar vLLM-Entwicklern, allerdings meinten die ziemlich arrogant: „Ist ’ne Nische, daher uninteressant. Tschüss.“ (Klar ist das (noch) ’ne Nische, weil es keine LLM-Engine gibt, die das kann …)
Vieleicht habt ihr ja Lust, dieses Open-Source-Projekt zu unterstützen?
Herzliche Grüße