Když dáte agentovi špatné zadání, on vám ho poslušně splní

Dlouho jsme si u softwaru zvykali na jednu tichou pojistku. Když jste vývojáři zadali nesmysl, on se ozval. Zvedl hlavu od monitoru, řekl, že takhle to nedává smysl, a zeptal se, jak jste to vlastně mysleli. Ta drobná lidská neposlušnost nás roky chránila před vlastními chybami v zadání, aniž jsme si toho všímali.

AI agent tuhle pojistku nemá. Není to oponent, který vás chce nachytat. Je to stroj vytrénovaný na to, aby se vám zavděčil. Dáte mu vágní, vnitřně rozporné zadání a on nezaváhá. Doplní si chybějící předpoklady tím nejpravděpodobnějším způsobem, zvolí interpretaci, která zní nejsamozřejměji, a s naprostou jistotou vám dodá kód, který přesně odpovídá tomu, co jste napsali, ne tomu, co jste chtěli.

Nebezpečné na tom není, že by se agent pletl. Nebezpečné je, jak přesvědčivě se nemýlí. Vaše nepřesnost se v jeho výstupu neztratí, ona se zvětší, protože ji provede důsledně, rychle a na první pohled hezky. To, co byl dřív jeden nedomyšlený řádek v ticketu, je teď tisíc řádků funkčního kódu postaveného na špatném předpokladu. A všechno kolem toho vypadá, jako by to bylo v pořádku.

Z toho plyne posun, který si zatím málokdo připouští. Ve světě, kde implementaci obstará agent za pár minut, se váha kvality přesouvá skoro celá na zadání. Přestává jít o to, jestli umíme napsat kód. Začíná jít o to, jestli umíme tak přesně popsat, co má kód dělat, aby ani stroj bez vlastního názoru nemohl minout. Specifikace přestává být formalitou před prací a stává se tou prací.

Testování hotového výstupu tady nepomůže tak, jak jsme zvyklí. Když ověřujeme, že agent splnil zadání, ověřujeme špatnou věc, pokud bylo zadání samo špatně. Otázka se posouvá o krok zpět. Umíte své zadání zformulovat tak, že by ho poslušný stroj nedokázal splnit špatně?