Nadella vyzval na externé kontroly AI a možnosť systémy okamžite zastaviť
Šéf Microsoftu Satya Nadella navrhol, aby pokročilé AI systémy neboli dôveryhodné samy osebe, ale podliehali externým kontrolám, auditným záznamom a zásahu oprávnenej osoby.
Nadellova architektúra dôvery pre pokročilé AI systémy má podľa šéfa Microsoftu stáť na kontrolách umiestnených mimo samotného modelu. Satya Nadella 10. októbra v príspevku na sociálnej sieti X vyzval na prehodnotenie prístupu k takzvanej „trust architecture“ a zdôraznil možnosť systém počas vykonávanej úlohy pozastaviť alebo vypnúť.
Nadella neoznámil konkrétny produkt, technický štandard ani záväznú zmenu v produktoch Microsoftu. Jeho príspevok predstavuje návrh princípov, ktoré by sa mali uplatňovať pri prevádzke pokročilých AI systémov, najmä agentov schopných vykonávať úlohy vo viacerých krokoch.
Nadellova architektúra dôvery oddeľuje model a kontrolnú vrstvu
Základom návrhu je oddelenie modelu od vrstvy, ktorá riadi jeho prácu. Bezpečnostné kontroly by tak neboli súčasťou komponentu, ktorého správanie majú zároveň kontrolovať. Nadella presadzuje prístup, podľa ktorého sa model nemá považovať za dôveryhodný komponent bez nezávislého dohľadu.
Prakticky by to znamenalo, že oprávnenia, obmedzenia činností a ľudský zásah majú byť riešené prostredníctvom externej prevádzkovej vrstvy. Výrok tým presúva dôraz od samotného správania modelu k tomu, ako je AI systém riadený a kontrolovaný pri reálnom nasadení.
Nadella tiež požaduje zaznamenávanie významných akcií modelu. Takéto záznamy majú mať podobu človekom čitateľných dôkazov odolných proti falšovaniu. Cieľom je, aby bolo možné spätne posúdiť, aké dôležité kroky systém vykonal.
Núdzová brzda pre oprávnenú osobu
Ďalšou súčasťou návrhu je možnosť zásahu človeka. Nadella uviedol, že oprávnená osoba má mať možnosť model počas úlohy pozastaviť alebo vypnúť. Túto funkciu prirovnal k núdzovej brzde.
V príspevku však neuviedol, ako by takáto možnosť mala byť technicky implementovaná, kto by presne získal príslušné oprávnenie ani aké pravidlá by upravovali jej použitie. Známe nie sú ani parametre prípadných nezávislých auditov či štandard, ktorý by definoval navrhovanú funkciu zastavenia.
Bez potvrdenia pre Copilot či Azure AI
Keďže Microsoft masovo nasadzuje AI do podnikových produktov, Nadellovo stanovisko je relevantné pre diskusiu o dohľade nad agentovými systémami. Samotný príspevok však nepotvrdzuje, že firma tieto princípy zavedie do služieb Copilot, Azure AI alebo iných produktov. Nie je známy ani prípadný harmonogram.
Nie je preto možné z výroku vyvodzovať zásadnú zmenu stratégie Microsoftu. Zatiaľ ide o verejne formulovaný návrh, nie o produktový záväzok.
Ďalším signálom bude prípadné produktové oznámenie Microsoftu, technická dokumentácia alebo otvorený štandard k externým kontrolám. Dôležité budú aj konkrétne požiadavky na auditné záznamy, oprávnenia a zastavenie agentov, ako aj reakcie ďalších veľkých vývojárov AI a regulačných orgánov.
Zdroje
- Satya Nadella na X – Primárny príspevok CEO Microsoftu obsahuje návrh externých kontrol, dôkazných záznamov a možnosti zastaviť model počas úlohy.
- TechCrunch – Nezávisle reprodukuje kľúčové body Nadellovho príspevku a uvádza, že išlo o post z 10. októbra.
- The Verge – Potvrdzuje Nadellovu výzvu predpokladať kompromitovaný model a zachovať oprávnenému človeku možnosť systém zastaviť.
Overené a aktualizované: 11. 10. 2026 06:19
