Model světa a akcí propojuje dvě úlohy: předpovídá, co robot uvidí v dalších okamžicích, a vytváří akce, které má robot provést. Nejde tedy jen o odhad budoucího obrazu ani jen o řízení pohybu, ale o jejich společné modelování. Například při uchopení hrnku se propojuje pohyb ramene s očekávanou změnou scény. Predikce obrazu a akcí mohou vznikat společně nebo postupně; konkrétní uspořádání závisí na návrhu systému. Takový model sám o sobě nezaručuje bezpečné provedení pohybu v reálném prostředí.
