Vývojář vystupující jako SlvDev dokázal spustit jazykový model na mikrokontroléru ESP32-S3, který stojí méně než deset dolarů. Model běží rychlostí téměř deset tokenů za sekundu. Na malý čip s 520 KB SRAM a 8 MB PSRAM se nevejde velký model, proto použil TinyStories od Microsoft Research s 28,9 milionu parametrů, tedy zhruba desettisíckrát menší model. I tak si vyžádal úpravy: váhy se kvantizací zkomprimovaly ze šestnácti na osm nebo čtyři bity, čímž se zmenšila paměťová stopa za cenu mírné ztráty přesnosti. Postup vývojář zdokumentoval na GitHubu a předvedl na YouTube kanálu Better Stack. Podle něj jde o ukázku, že generativní modely zvládne i hardware určený hlavně pro senzory a IoT.
