LLM brána je prostředník mezi aplikací a službami jazykových modelů. Aplikace posílá požadavky na jedno rozhraní a brána před jejich předáním kontroluje, které modely a infrastrukturu smí použít. Může vynucovat pravidla pro práci s citlivými daty, omezovat povolené modely a hlídat náklady. Samotné směrování mezi modely vybírá, kam dotaz poslat; brána navíc tvoří společné místo, kde se pravidla kontrolují ještě před spuštěním inference. Její nasazení ale samo o sobě nezaručuje bezpečnost ani soulad s předpisy: záleží na nastavení a na službách, ke kterým požadavky pustí.
