Nová studie Parallel Language Models popisuje jazykové modely, které vytvářejí více vzájemně konzistentních tokenů během jediného průchodu sítí. Běžné autoregresní modely produkují tokeny postupně, což zvyšuje dobu čekání na odpověď. Navržený přístup propojuje závislosti mezi tokeny pomocí pomocných latentních proměnných a používá společný tréninkový cíl pro autoregresní i paralelní dekódování.
Autoři zkoumali modely od 80 milionů do tří miliard parametrů. Dotrénovaný model s 1,3 miliardy parametrů v jejich testech matematiky, programování a následování instrukcí dosáhl srovnatelné nebo vyšší kvality než stejně trénovaná autoregresní varianta a zrychlení 2,3 až 5,7krát. Jde o výsledky výzkumné práce zveřejněné na arXivu, ne o obecně potvrzené zrychlení libovolného chatbota. Autoři avizují zveřejnění kódu.
