NVIDIA predstavila syntetický korpus pre 22 indických jazykov
NVIDIA spolu s IIT Madras a AI4Bharat oznámila 2,83-biliónový syntetický korpus tokenov pre indické jazyky. Celá dátová sada zatiaľ nie je verejne dostupná, firma však otvorila postup jej generovania.
Nemotron Indic korpus je nový syntetický dátový súbor, ktorý NVIDIA predstavila 16. októbra v spolupráci s IIT Madras a jeho laboratóriom AI4Bharat. Projekt s označením Nemotron-Pretraining-Indic-v1 obsahuje približne 2,83 bilióna syntetických tokenov pre 22 indických jazykov a 34 jazykovo-písmových konfigurácií. NVIDIA zároveň zverejnila nástrojový postup, ktorým boli dáta vytvorené. Samotný korpus však podľa firmy zatiaľ nie je verejne dostupný.
Dáta vznikli z kurátorovaných anglických zdrojov, ktoré boli preložené do indických jazykov v ich pôvodných písmach. Pri dvanástich jazykoch pribudli aj romanizované varianty, teda zápis v latinke. Cieľom je rozšíriť materiál dostupný na predtréning jazykových modelov pre jazyky, ktoré majú v porovnaní s angličtinou podstatne menej prirodzene vytvoreného digitálneho textu.
Nemotron Indic korpus a otvorený postup generovania
NVIDIA publikovala zdrojový projekt nazvaný Nemotron Bharat translation plugin pre nástroj NeMo Data Designer. Postup pokrýva preklad zdrojových dokumentov, automatické hodnotenie kvality, opravy prekladov a pri vybraných jazykoch aj transliteráciu do latinky.
Podľa dokumentácie je dôležitou súčasťou procesu dohľadateľnosť pôvodu zdrojových dokumentov. To môže tímom pracujúcim s viacjazyčnými dátami uľahčiť opakovanie postupu alebo jeho audit. Zverejnený plugin je dostupný v repozitári NVIDIA-NeMo/DataDesignerPlugins, kde NVIDIA odkazuje na nástroj použitý pri tomto projekte.
Oznámenie však neznamená, že je už k dispozícii celá 2,83-biliónová dátová sada. NVIDIA uvádza, že korpus zverejní neskôr. Firma zatiaľ nepotvrdila konkrétny dátum vydania, licenčné podmienky, spôsob distribúcie ani veľkosť jednotlivých súborov.
Výsledky na modeli Nemotron 3.5 Super
Technická správa NVIDIA opisuje použitie 10 miliárd tokenov zo zmesi syntetických a prirodzených indických dát pri dodatočnom predtrénovaní modelu Nemotron 3.5 Super.
Na piatich benchmarkoch NVIDIA uviedla zlepšenie v rozpätí od 4,98 do 9,82 percentuálneho bodu. Ide o výsledky merané firmou a zatiaľ nebolo dohľadané nezávislé overenie kvality celého korpusu ani reprodukcia deklarovaných benchmarkových zlepšení.
Preklady nenahrádzajú prirodzený obsah
Veľký objem syntetických dát môže byť užitočný najmä pri jazykoch, pre ktoré je málo dostupných tréningových textov. Syntetický preklad však nie je totožný s obsahom vytvoreným priamo používateľmi daného jazyka a v danom prostredí. Autori projektu sami uvádzajú, že automatické kontroly a vzorkované ľudské revízie nevylučujú chyby v prekladoch.
Pri desiatich jazykoch má byť podľa autorov potrebná širšia validácia rodenými hovoriacimi. To je relevantné aj pri hodnotení výstupov budúcich modelov, keďže kvalita sa môže líšiť medzi jazykmi, písmami aj typmi textu.
NVIDIA plánuje dataset Nemotron-Pretraining-Indic-v1 zverejniť neskôr. Dôležité budú aj licenčné podmienky, dataset card, nezávislé hodnotenia jednotlivých jazykov a písiem a praktická použiteľnosť zverejneného pluginu v NeMo Data Designer.
Zdroje
- Hugging Face Blog / NVIDIA – Oznámenie korpusu, spoluprácu s AI4Bharat a IIT Madras, opis pipeline a upozornenie, že vydanie korpusu sa ešte len plánuje.
- NVIDIA Nemotron 3.5 Super and Lightning Technical Report – Počet tokenov, jazykové pokrytie, tréningovú zmes a výrobcom uvádzané výsledky benchmarkov po continued pretraining.
- NVIDIA Nemotron documentation — Stage 0: Pretraining – Technický opis štvorkrokového postupu, rozsah korpusu a stav plánovaného zverejnenia dát a pipeline.
- NVIDIA-NeMo/DataDesignerPlugins – Existenciu NVIDIA spravovaného repozitára pluginov pre NeMo Data Designer, v ktorom NVIDIA odkazuje na plugin použitý pri tejto práci.
Overené a aktualizované: 16. 10. 2026 15:24
