Nvidia prý říká, že NPU jsou zbytečná, pro AI jsou lepší její GPU

Systémy umělé inteligence potřebují spoustu věcí, aby mohly dobře fungovat. Jednak to musí být dobrý algoritmus, dále také dostatek dat pro trénování, výkonný hardware pro toto trénování a také výkonný, ale současně také velmi úsporný hardware pro inferenci (běh) těchto natrénovaných algoritmů. Tento poslední krok se dnes děje především na NPU, což je součást procesoru optimalizovaná pro úlohy AI. Zatímco dnešní procesory mají NPU např. o výkonu 10-16 TOPS v případě Ryzenů, případně až 45 TOPS u nového Qualcommu Snapdragon X Elite, dle uniklé (neoficiální) prezentace Nvidie ale firma považuje NPU za víceméně zbytečná. GPU Nvidie (a ostatně GPU obecně) dle ní zastanou stejnou práci lépe.

 

Nová AI PC vyžadují výkon alespoň 45 TOPS, což mnoho procesorů nesplňuje ani tehdy, když se sečte výkon jejich CPU, GPU a NPU dohromady (Ryzeny jsou na 39 TOPS). Velmi brzy by se ale měl zvýšit výkon GPU i NPU do takové míry, že od AMD i Intelu očekáváme hodnoty okolo 100 TOPS. Nvidia ale v prezentaci tvrdí, že její GPU mají 100 TOPS už dnes, a to už v low-endu. High-endová řešení mohou nabídnout až 1300 TOPS, což je o dva řády více, než co nabízí dnešní řešení pomocí NPU, a stále ještě o řád více, než co budou nabízet připravované procesory pro následující rok.  Další výhodou dle Nvidie je to, že "procesorových" AI PC je minimum, koncem roku 2023 to nebyl ani milion (nyní je to dle Intelu asi 5 milionů), zatímco GPU RTX 3000 a 4000 od Nvidie má 100 milionů uživatelů, a tedy tolik je už dnes uživatelů s "grafickým" AI PC.

 

Tento výkon se dá použít pro úlohy AI např. pro tvůrce, a to pro mnohem rychlejší editaci fotografií a videa, generování obrazu. Procesorová řešení (NPU) dle ní nezvládnou generování videa nebo 3D odšumování, zatímco GPU to má díky svému výkonu zvládnout bez potíží. Pro video tu máme lepší výkon pro upscaling a možnost HDR videa. Pro produktivitu mají GPU dle Nvidie vyšší výkon v generativní AI pro dokumenty i AI vylepšení videa u konferencí. U her se NPU řešení dají použít nanejvýš pro základní upscaling, zatímco GPU ho mají zvládat rychleji, mají také nabídnout generování snímků, ray-tracing a AI NPC. Také pro programátory a vývojáře má GPU řešení zvýšit rychlost vytváření zdrojových kódů a umožnit i ladění modelů.

 

Zdroj: videocardz.com, pcworld.com