Open-source projekt Reflex staví na Rustu a CUDA a zaměřuje se na co nejrychlejší spuštění lokálního modelu od startu procesu k prvnímu výsledku. Jádro projektu používá GGUF modely a CUDA kernely kompilované předem pomocí nástroje nvcc, takže se při prvním spuštění vyhýbá několikasekundové kompilaci za běhu. Kromě běžného generování nabízí příkaz system1, který v jediném průchodu porovnává kandidátní odpovědi a hodí se pro krátké rozhodovací smyčky agentů. Autor uvádí měření na GPU Nvidia A6000, kde Reflex v některých studených bězích překonal llama.cpp, zároveň ale zaostal za dlouhodobě běžícím API Jev. Projekt proto necílí na propustnost serveru, nýbrž na úlohy, které se spouštějí jednotlivě, například lokální nástroje, edge zařízení nebo krátké dávkové joby. Pro běh je potřeba CUDA a kompatibilní grafická karta.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.