Co je Inference?
Inference je provoz hotového modelu: každá odpověď chatbota nebo vygenerovaný obrázek. Na rozdíl od tréninku, který proběhne jednou, běží inference nepřetržitě a tvoří rostoucí část nákladů AI firem.
Čím víc lidí a firem modely používá, tím víc čipů a elektřiny inference spotřebuje. Proto se tvůrci modelů zavazují k nákupům kapacity na roky dopředu a proto tržby AI firem rostou spolu s náklady.
Na inferenci vydělávají výrobci čipů, cloud a energetika. Firmy jako Cerebras nebo Groq staví čipy jen pro inferenci, aby byla levnější než na GPU od Nvidie.
Podrobný průvodceJak investovat do umělé inteligence →