NVIDIA je objavila obitelj otvorenih modela Nemotron 3 kao dio potpunog sustava za agentnu umjetnu inteligenciju. Ovaj sustav uključuje modelne težine, skupove podataka i alate za pojačano učenje. Nemotron 3 obitelj se sastoji od tri veličine: Nano, Super i Ultra, a svaka je prilagođena za različite radne opterećenja.
Nemotron 3 Nano ima oko 30 milijardi parametara, od kojih je aktivno oko 3 milijarde po tokenu. Nemotron 3 Super ima oko 100 milijardi parametara s do 10 milijardi aktivnih po tokenu, dok Nemotron 3 Ultra ima oko 500 milijardi parametara s do 50 milijardi aktivnih po tokenu. Ovi modeli su dizajnirani za multiagentne sustave koji zahtijevaju dugo kontekstno razmišljanje s kontrolom nad troškovima inferencije.
Obitelj modela i ciljani radni opterećenja
Nemotron 3 obitelj je predstavljena kao učinkovit otvoreni model za agentne aplikacije. Obitelj se sastoji od tri modela: Nano, Super i Ultra, svaki prilagođen različitim profilima radnog opterećenja.
Nemotron 3 Nano
Nemotron 3 Nano je hibridni Mamba Transformer model s miješanjem stručnjaka (Mixture of Experts) s oko 31,6 milijardi parametara. Samo je oko 3,2 milijarde parametara aktivno po svaku naprijednu proba, ili 3,6 milijardi uključujući ugrađene elemente. Ova rijetka aktivacija omogućuje modelu da zadrži visoku reprezentativnu kapacitet dok održava niske računske troškove.
Nemotron 3 Super
Nemotron 3 Super ima oko 100 milijardi parametara s do 10 milijardi aktivnih po tokenu. Ovaj model je dizajniran za visoku točnost razmišljanja u velikim multiagentnim aplikacijama.
Nemotron 3 Ultra
Nemotron 3 Ultra skalira ovaj dizajn na oko 500 milijardi parametara s do 50 milijardi aktivnih po tokenu. Ovaj model je namijenjen za složene istraživačke i planiranje radnih tokova.
Nemotron 3 Nano je trenutno dostupan s otvorenim težinama i recepturama na Hugging Face i kao NVIDIA NIM mikroslužba. Super i Ultra su planirani za prvu polovicu 2026. godine.
NVIDIA Nemotron 3 Nano nudi oko 4 puta veću propusnost tokena od Nemotron 2 Nano i značajno smanjuje korištenje razmišljajućih tokena, dok podržava prirodnu dužinu konteksta do 1 milijun tokena. Ova kombinacija je namijenjena multiagentnim sustavima koji rade na velikim radnim prostorima kao što su dugi dokumenti i veliki kodni baza.
Hibridna Mamba Transformer MoE arhitektura
Jezgro dizajna Nemotron 3 je hibridna Mamba Transformer arhitektura s miješanjem stručnjaka (Mixture of Experts). Ovi modeli miješaju Mamba sekvencne blokove, pažnjive blokove i rijetke stručnjačke blokove unutar jednog stoga.
Za Nemotron 3 Nano, istraživački tim opisuje uzorak koji izmjenjuje Mamba 2 blokove, pažnjive blokove i MoE blokove. Standardne feedforward slojeve iz ranijih generacija Nemotron su zamijenjeni MoE slojevima. Učenik router odabire mali podskup stručnjaka po tokenu, na primjer 6 od 128 rutirajućih stručnjaka za Nano, što održava broj aktivnih parametara blizu 3,2 milijardi dok puni model sadrži 31,6 milijardi parametara.
Mamba 2 se bavi modeliranjem dugotrajnih sekvenci s ažuriranjima u stilu prostora stanja, pažnjivi slojevi pružaju direktne interakcije token po token za zadatke osjetljive na strukturu, a MoE pruža skaliranje parametara bez proporcionalnog skaliranja računanja. Važna točka je da su većina slojeva ili brzi sekvencni ili rijetki stručnjački računi, a puni pažnjivi slojevi se koriste samo tamo gdje je to najvažnije za razmišljanje.
Za Nemotron 3 Super i Ultra, NVIDIA dodaje LatentMoE. Tokeni se projekciraju u nižu dimenzionalnu latentnu prostor, stručnjaci rade u tom latentnom prostoru, a zatim se izlazi projekciraju natrag. Ovaj dizajn omogućuje nekoliko puta više stručnjaka pri sličnim komunikacijskim i računskim troškovima.
Zaključak
NVIDIA Nemotron 3 obitelj modela predstavlja značajan napredak u polju agentne umjetne inteligencije. S kombinacijom Mamba Transformer arhitekture i miješanjem stručnjaka, ovi modeli nude učinkovito razmišljanje s dugačkim kontekstima i kontrolom nad troškovima inferencije. Dostupnost Nemotron 3 Nano s otvorenim težinama i recepturama omogućuje široku primjenu i daljnje istraživanje.
Česta pitanja
Kada će biti dostupni Nemotron 3 Super i Ultra modeli?
Nemotron 3 Super i Ultra modeli su planirani za prvu polovicu 2026. godine.
Kako Nemotron 3 Nano uspoređuje s Nemotron 2 Nano?
Nemotron 3 Nano nudi oko 4 puta veću propusnost tokena od Nemotron 2 Nano i značajno smanjuje korištenje razmišljajućih tokena, dok podržava prirodnu dužinu konteksta do 1 milijun tokena.
Koje su glavne karakteristike Nemotron 3 arhitekture?
Glavne karakteristike Nemotron 3 arhitekture uključuju hibridnu Mamba Transformer arhitekturu s miješanjem stručnjaka, Mamba 2 blokove, pažnjive blokove i rijetke stručnjačke blokove. Ova arhitektura omogućuje učinkovito razmišljanje s dugačkim kontekstima i kontrolu nad troškovima inferencije.
Gdje mogu pronaći više informacija o Nemotron 3 modelima?
Više informacija o Nemotron 3 modelima možete pronaći na službenoj NVIDIA stranici i na Hugging Face platformi gdje su dostupni modeli i recepture.
