Stručně: Proměnlivost AI odpovědí je rozdíl mezi výstupy získanými pro stejný nebo srovnatelný prompt v různých opakováních, časech či prostředích.
Jak Proměnlivost AI odpovědí používám v praxi
V praxi pojem Proměnlivost AI odpovědí nepoužívám jako další číslo do prezentace. Nejdřív si určím, které rozhodnutí má zpřesnit, z jakých dat nebo pozorování vychází a kdo podle výsledku něco změní. U důležitých promptů dělám více opakování a vedle průměru ukazuji rozptyl, stabilitu citací a četnost různých typů odpovědí. Zapisuji také výchozí stav, datum měření a hranice interpretace. Díky tomu lze později rozlišit skutečný posun od změny nástroje, vzorku nebo formulace dotazu.
Na co si dát pozor
Největší riziko je přesnost, která je pouze na pohled. Jednorázové před-a-po měření může zaměnit náhodnou odchylku za dopad obsahové změny nebo kampaně. Výsledek proto porovnávám v čase, na stabilním vzorku a společně s obchodním kontextem. Pokud pojem nevede ke konkrétnímu dalšímu kroku, nevznikla analýza, ale jen nový štítek.
Otázky pro rozhodnutí
- Kolik opakování odpovídá riziku rozhodnutí?
- Mění se značka, citace, nebo jen slovosled?
- Je změna větší než běžný rozptyl?
- Zůstaly model a podmínky stejné?