Hallo zusammen,
ich habe in den letzten Wochen einen Fork von sglang erstellt (für mich privat, nicht kommerziell, aber es dürfen gerne alle davon profitieren), mit dem es sinnvoll möglich ist, unterschiedliche GPUs zu paaren und sowohl vom Compute als auch vom VRAM zu profitieren – inklusive...