Stručně: Prompt sensitivity je míra, s jakou se obsah, zdroje nebo doporučení AI odpovědi mění při malé, významově kontrolované úpravě promptu.
Jak Prompt sensitivity používám v praxi
V praxi pojem Prompt sensitivity nepoužívám jako další číslo do prezentace. Nejdřív si určím, které rozhodnutí má zpřesnit, z jakých dat nebo pozorování vychází a kdo podle výsledku něco změní. Testuji předem určené parafráze stejné potřeby a odděluji vliv formulace od běžné proměnlivosti opakovaných odpovědí. Zapisuji také výchozí stav, datum měření a hranice interpretace. Díky tomu lze později rozlišit skutečný posun od změny nástroje, vzorku nebo formulace dotazu.
Na co si dát pozor
Největší riziko je přesnost, která je pouze na pohled. Pokud parafráze změní zákaznický záměr, nejde o citlivost na formulaci, ale o jinou otázku a jiný měřený trh. Výsledek proto porovnávám v čase, na stabilním vzorku a společně s obchodním kontextem. Pokud pojem nevede ke konkrétnímu dalšímu kroku, nevznikla analýza, ale jen nový štítek.
Otázky pro rozhodnutí
- Zachovávají varianty stejný záměr?
- Která slova mění výběr zdrojů?
- Je efekt opakovatelný?
- Máme citlivé prompty zahrnout do samostatného clusteru?