ServiceNow AutoSynthData cieli na tréning podnikových AI agentov

ServiceNow AutoSynthData je postup na tvorbu syntetických tréningových úloh pre podnikových AI agentov, ktorý spoločnosť opísala v príspevku ServiceNow-AI na Hugging Face z 2. októbra 2026. Metóda má cieliť na konkrétne zlyhania modelu namiesto zhromažďovania veľkého množstva ručne pripravených dát. V experimentálnom benchmarku EnterpriseOps Gym ServiceNow uvádza zlepšenie úspešnosti po syntetickom dolaďovaní modelu.

Podnikové agenty nepracujú iba s textom. V mnohých scenároch používajú nástroje a menia stav systémov, napríklad pri workflowoch IT služieb. To zvyšuje význam úloh, pri ktorých možno jednoznačne overiť, či agent vykonal požadovaný postup a dosiahol správny výsledok.

ServiceNow AutoSynthData vytvára úlohy zo zlyhaní modelu

Pipeline vychádza z dvoch vstupov: zo zlyhaní cieľového modelu a z úspešných riešení silnejšieho učiteľského modelu. Na ich základe vytvára nové úlohy určené na tréning, respektíve supervised fine-tuning (SFT).

Každá vytvorená úloha obsahuje systémovú špecifikáciu, používateľské zadanie a verifikátor. Nejde teda len o generovanie promptov a očakávaných textových odpovedí. Kandidátne úlohy pipeline kontroluje vykonaním referenčného riešenia a negatívnymi testami verifikátora. Cieľom je preveriť, že riešenie funguje a že verifikátor neakceptuje nesprávne výsledky.

Takýto prístup sa sústreďuje na vykonateľné úlohy s deterministickou kontrolou výsledkov. Pri agentoch v stavových prostrediach je to dôležité najmä preto, že správne znejúca odpoveď sama osebe nemusí znamenať správne vykonanú operáciu v systéme.

Výsledky v EnterpriseOps Gym

ServiceNow hodnotilo postup v benchmarku EnterpriseOps Gym. V prostredí Hybrid sa podľa autorov po syntetickom SFT zvýšila metrika Pass@1 z 63,01 % na 68,55 %. V prostredí ITSM stúpla z 18,77 % na 27,18 %.

Pass@1 vyjadruje úspešnosť pri jednom pokuse. Uvedené čísla preto naznačujú výsledok modelu po dolaďovaní na danom hodnotení, nie všeobecnú garanciu spoľahlivosti v podnikovej prevádzke.

EnterpriseOps Gym je verejne popísaný benchmark stavových podnikových prostredí. Jeho autori uvádzajú 1 150 úloh a 512 nástrojov rozdelených do ôsmich oblastí. Benchmark je navrhnutý na hodnotenie agentov, ktorí musia pracovať s nástrojmi a postupne upravovať stav prostredia.

Prínos je zatiaľ obmedzený na kontrolované testy

AutoSynthData rieši praktický problém pri dolaďovaní agentov: príprava kvalitných úloh, referenčných riešení a spoľahlivých hodnotiacich pravidiel je náročná. Ak sa tréningové dáta generujú podľa konkrétnych neúspechov modelu, môže byť dolaďovanie cielenejšie než pri všeobecne zbieraných dátach.

Zverejnené výsledky však pochádzajú od autorov metódy a z kontrolovaného benchmarku. Nie sú nezávisle replikovaným dôkazom, že sa zlepšenie rovnako prenesie do produkčných podnikových systémov. Oznámenie zároveň nepotvrdzuje, že je AutoSynthData dostupný ako verejne použiteľný kód alebo komerčný produkt.

Otvorené zostáva aj fungovanie postupu pri iných modeloch, pri citlivých firemných dátach a vo workflowoch s reálnymi prevádzkovými, bezpečnostnými a obmedzeniami súvisiacimi s oprávneniami.

Čo sledovať ďalej

• či ServiceNow zverejní implementáciu, tréningové dáta alebo reprodukovateľné konfigurácie AutoSynthData,
• či výsledky potvrdia nezávislé replikácie mimo benchmarku EnterpriseOps Gym,
• ako sa metóda osvedčí v prostrediach bližších produkcii vrátane dátovo citlivých workflowoch a workflowoch riadených oprávneniami.

Overené a aktualizované: 02. 10. 2026 06:24