Nemotron 3.5 Bolt: NVIDIA uviedla 74B model s cieľom zmestiť sa do 24 GB pamäte
NVIDIA sprístupnila multimodálny Nemotron 3.5 Super VL a lokálny model Bolt 74B-A9B, ktorý vďaka 2-bitovej kvantizácii cieli na 24 GB pamäte. Menší Bolt E4B má nasledovať 23. októbra.
Nemotron 3.5 Bolt rozširuje ponuku modelov NVIDIA pre lokálne agentové úlohy. Spoločnosť 15. októbra uviedla model Nemotron 3.5 Super VL aj Nemotron 3.5 Bolt 74B-A9B 24GB. Menší variant Nemotron 3.5 Bolt E4B 4GB zatiaľ dostupný nie je; NVIDIA jeho vydanie plánuje na 23. októbra 2026.
Novinky firma označuje ako „open models“. To v tomto prípade znamená verejne dostupné modelové váhy a súvisiace artefakty. Neznamená to však nevyhnutne plne open-source vydanie vrátane všetkých tréningových dát a zdrojového kódu.
Nemotron 3.5 Bolt s cieľom zmestiť sa do 24 GB pamäte
Nemotron 3.5 Bolt 74B-A9B má celkovo 74 miliárd parametrov, pričom pri spracovaní jedného tokenu aktivuje 9 miliárd parametrov. NVIDIA pri ňom používa 2-bitovú kvantizáciu, aby sa model zmestil do 24 GB pamäte.
Model je určený na lokálne agentové pracovné postupy v systémoch NVIDIA RTX a DGX Spark. Agentové úlohy môžu zahŕňať prácu s nástrojmi či spracovanie podkladov, pričom lokálne nasadenie je relevantné najmä tam, kde vývojári a firmy riešia latenciu, náklady alebo prácu s citlivými dátami na vlastnej infraštruktúre.
Hodnota 24 GB opisuje pamäťový cieľ modelu, nie univerzálnu záruku bezproblémového chodu na každom počítači s takouto kapacitou. Praktické použitie bude závisieť aj od podpory inferenčného softvéru, dostupnej pamäte systému a konkrétnej úlohy.
Multimodálny Super VL s architektúrou MoE
Súčasne dostupný Nemotron 3.5 Super VL je multimodálny model typu Mixture-of-Experts (MoE). Má 120 miliárd parametrov celkovo, ale pri každom tokene aktivuje 12 miliárd z nich. Multimodálne zameranie znamená, že cieli aj na úlohy pracujúce s dokumentmi, obrazmi a videom.
NVIDIA model prezentuje pre špecializovaných agentov s multimodálnym uvažovaním. Vývojári tak môžu modelové váhy prispôsobovať vlastným dátam a nasadzovať ich v kontrolovanom prostredí. Konkrétny prínos však bude závisieť od použitého scenára, dát, hardvéru a integračného riešenia.
Výkonové tvrdenia treba porovnať nezávisle
NVIDIA vo svojich materiáloch uvádza tvrdenia o presnosti, rýchlosti a priepustnosti jednotlivých modelov. Takéto výsledky však vychádzajú z benchmarkov, konkrétneho hardvéru a konfigurácie zvolenej výrobcom. Nezávislé porovnanie kvality, rýchlosti a pamäťových nárokov modelov zatiaľ v dostupných podkladoch potvrdené nie je.
Rovnako firma uvádza očakávané prevádzkové a nákladové zlepšenia z nasadení partnerov. Tieto údaje nemožno automaticky preniesť na všetkých používateľov ani na odlišné typy pracovných záťaží.
Čo sledovať ďalej
Najbližším termínom je 23. október, keď NVIDIA plánuje sprístupniť Nemotron 3.5 Bolt E4B 4GB. Dôležité bude aj to, aké licenčné podmienky budú platiť pre jednotlivé modely a ako rýchlo pribudne kompatibilita s bežne používanými nástrojmi pre lokálnu inferenciu.
Pre praktické hodnotenie bude podstatné nezávislé testovanie modelov mimo materiálov NVIDIA, najmä pri kvalite odpovedí, rýchlosti spracovania a reálnej spotrebe pamäte v lokálnych konfiguráciách.
Zdroje
- NVIDIA Blog – Potvrdzuje oznámenie, dostupnosť Super VL a Bolt 74B-A9B a plánovaný termín Bolt E4B 4GB.
- NVIDIA Nemotron Research – Dokumentuje architektúru Bolt 74B-A9B, 24 GB pamäťový cieľ, 2-bitovú kvantizáciu a lokálne zameranie.
- NVIDIA Technical Blog – Uvádza parametre Super VL, multimodálne schopnosti a metodiku výkonových tvrdení NVIDIA.
- NVIDIA Glossary – Vysvetľuje, že označenie open model nemusí znamenať úplné open-source zverejnenie všetkých dát a kódu.
Overené a aktualizované: 16. 10. 2026 06:24
