Microsoft skúmal otravu dát a checkpointov pre AI agentov

Otrava AI agentov je predmetom nového výskumu tímov Microsoft Security Research a Microsoft AI Red Team. Výskumníci 12. novembra publikovali laboratórne testy dvoch ciest útoku na post-training dodávateľský reťazec: otravy fine-tuning dát a open-weight modelových checkpointov. Obe metódy môžu podľa nich viesť k vloženiu zadných vrátok do AI agentov určených na prácu s kódom.

Nejde o oznámenie opravenej zraniteľnosti konkrétneho produktu ani o potvrdenú kampaň proti zákazníkom. Microsoft neuviedol dôkaz, že by sa opísané techniky použili pri reálnom útoku alebo že by konkrétny verejný model či dataset bol takto kompromitovaný.

Otrava AI agentov cez fine-tuning dáta

Prvá testovaná cesta spočíva v otrave dát použitých na fine-tuning. V laboratórnom scenári výskumníci naučili fine-tunovaný model, aby pri bežne znejúcej požiadavke vyhľadal dostupný nástroj na spúšťanie príkazov a vykonal nebezpečný príkaz.

Na dvoch známych testovacích harnessoch dosiahol tento postup úspešnosť približne 78 %. Podstatou rizika nie je iba nežiaduci textový výstup modelu. Kódovací agent môže mať prístup k shellu, súborom, sieti alebo tajomstvám, a v takom prostredí môže podmienené správanie viesť k spusteniu nástroja.

Microsoft upozorňuje, že bežné benchmarky a testovanie schopností nemusia takéto podmienené správanie odhaliť. Model sa totiž môže správať štandardne, až kým nedostane konkrétny typ vstupu alebo sa neocitne v určitej kombinácii dostupných nástrojov a prostredia.

Upravený checkpoint aktivoval zadné vrátka

Druhá cesta sa týka open-weight checkpointov, teda váh modelov, ktoré organizácia preberá a následne nasadzuje alebo ďalej upravuje. V najsilnejšej testovanej konfigurácii Microsoft nameral aktiváciu zadných vrátok v netrénovaných repozitároch v rozsahu 84,1 % až 94,8 %.

Výsledky sa líšili podľa použitého agentového harnessu. Z údajov preto nevyplýva jednotná úspešnosť platná pre všetky modely, agentové frameworky či pracovné postupy. Ide o výsledky kontrolovaných experimentov, nie meranie rozšírenia kompromitovaných checkpointov vo verejných repozitároch.

S témou súvisí preprint Kerkoporta: Injecting Structured-Output Backdoors in Reasoning Coding Agents, zverejnený na arXiv 29. októbra 2026. Práca opisuje experimentálne vloženie štruktúrovaných backdoorov do reasoning coding agents. Z dostupných podkladov nevyplýva nezávislá recenzia ani externá reprodukcia jej výsledkov.

Kontrola artefaktov aj obmedzenie oprávnení

Riziko sa týka najmä organizácií, ktoré pre agentov s praktickými oprávneniami preberajú fine-tuning dáta alebo open-weight checkpointy z externých zdrojov. Microsoft odporúča kontrolovať pôvod dát a modelov a overovať ich hashe.

Ďalšími odporúčaniami sú testovanie v reálnom nasadení, minimálne oprávnenia nástrojov, izolácia behu a schvaľovanie rizikových akcií. Medzi uvádzané runtime opatrenia patrí sandboxing, obmedzenie prístupu k sieti a povereniam, validácia parametrov nástrojov a schvaľovanie citlivých operácií.

Výskumníci zároveň pri rizikových riadkoch nájdených vo verejnom datasete nevedeli určiť úmysel ich vydavateľa ani to, či by samotné riadky po fine-tuningu mali merateľný účinok. Táto neistota je dôležitá: publikované výsledky demonštrujú uskutočniteľnosť útokov v experimentoch, nie potvrdené zneužitie v praxi.

Čo sledovať ďalej

Dôležité bude nezávislé overenie a reprodukcie výskumu, ako aj reakcie prevádzkovateľov modelových hubov a agentových frameworkov na kontrolu pôvodu checkpointov a datasetov. Zatiaľ tiež neexistujú potvrdené dôkazy o reálnom zneužití opísaných techník.

Overené a aktualizované: 13. 11. 2026 06:26