Meta představuje Llama 3, nové LLM bude s až 400 miliardami parametrů

Na trhu je několik hráčů, kteří vyvíjí velmi pokročilé LLM, modely pro systémy umělé inteligence, které mají i stovky miliard parametrů. Jedním z nich je i společnost Meta (kdysi Facebook), která nyní uvolnila svůj nejnovější LLM Llama 3 jako open-source. Ten bude nabízen v rámci systémů AWS, Databricks, Google Cloud, Hugging Face, Kaggle, IBM WatsonX, Microsoft Azure, NVIDIA NIM a Snowflake, přičemž je podporován na hardwarových platformách AMD, AWS, Dell, Intel, NVIDIA a Qualcomm. Společnost současně vytvořila AI asistenta na stránce Meta.ai, nicméně to prozatím neplatí pro nás (dostupný zatím v USA, Kanadě, Austrálii a několika afrických zemích).

 

 

Llama 3 je nyní dostupná ke stažení ve verzích 8B a 70B, tedy s 8 nebo 70 miliardami parametrů, přičemž pro trénování Meta nashromáždila 15 bilionů tokenů. Pro angličtinu ale bylo celých 95 % z nich, zatímco zbývajících 5 % si rozděluje dalších 30 jazyků. Současně ale pracuje také na verzi Llama 3-400B se 400 miliardami parametrů, která bude multimodální, bude tedy podporovat provázanost mezi textem a obrazem. Tento model by se měl představit ještě letos.

 

Ke trénování se využívají GPU s výkonem 400 TFLOPS v používaných datových typech. Trénování bylo nejefektivnější v případě, že se využívá 16 tisíc GPU. Nakonec se ale využívají dva clustery, kde každý z nich má 24 tisíc GPU. Proti Llama 2 je nyní trénování AI ve výsledku 3krát efektivnější. Llama 3 by měla být lepší ve zdůvodňování nebo třeba psaní zdrojových kódů. Dobře by měla zvládat i historické znalosti nebo úlohy STEM.

 

Zdroj: ai.meta.com