Projekt Cactus představil řadu Needle 3, která podle oznámení nabízí automatizační modely o velikosti 8 až 29 MB. Vývojáři je cílí na telefony, nositelnou elektroniku, chytrou domácnost a roboty, tedy na zařízení s omezenou pamětí a výkonem. Cactus kolem modelů staví vlastní inference engine s podporou textu, řeči a obrazu, který nabízí rozhraní kompatibilní s OpenAI API. Součástí projektu jsou také vlastní kvantizace a výpočetní jádra pro procesory a grafické čipy v běžných mobilních platformách. Pokud se deklarované výsledky potvrdí i mimo připravené testy, podobně malé modely mohou přesunout část automatizace z cloudu přímo do zařízení. To by znamenalo nižší latenci, menší náklady na přenos dat a možnost fungovat i bez trvalého připojení.

Radyz

Radyz publikuje komentáře a praktické texty o AI nástrojích, ChatGPT, Claude a dění kolem OpenAI a Anthropicu. Na webu se soustředí na srozumitelný výklad, vlastní zkušenost a důraz na to, co je pro čtenáře skutečně užitečné.