Metods for interpretation of MC simulation results/cs

=Úvod=

Metoda Monte Carlo je nástrojem pro vytváření kvalifikovaných odhadů na základě předchozích dat. Odhaduje s určitou pravděpodobností vývoj událostí, který nelze určit přímým výpočtem a pracuje s nahodilými proměnnými, kterým se říká pseudonáhodná čísla. Podstatou nástroje není fyzická aplikace, nýbrž metodika jak dosáhnout omezeného počtu odpovědí na jasně danou otázku. Příklad takových otázek může být následující formu: „Bude zítra pršet?“, „Je potřeba se na zítřejší prověrku učit?“ anebo „Zvýší se, a popřípadě o kolik, marže logistického podniku, pokud nahradíme poštovní holuby samořízenými vzdušnými droidy?“ Ačkoliv se můžou zdát některé otázky trochu zvláštní, jedná se o typ otázek, na kterou není možno nalézt jednoznačnou odpověď. Na dotaz, zdali bude zítra pršet, lze odpovědět: „S pravděpodobností 78% pršet nebude.“ Na dotaz lajdáckého studenta může simulace odpovědět, že pokud bude test vypsán kantorem A, s pravděpodobností 99% neuspěje. A právě způsob interpretace výsledků je klíčová pro správné zacházení s rozhodnutím, které bylo simulací nalezeno jako nejvhodnější.

=Rozhodování o výsledku=

Porovnávání výsledků s intervaly, a rozhodování na základě zvolených podmínek, je kritické ke reprezentaci výsledků simulace. Každá simulace musí ve výsledku zodpovědět určitou otázku. Je však nejisté, které hodnoty lze považovat za splněné a které nikoliv. Proto je třeba volit interval hodnot nebo jednu hodnotu, se kterou se výsledek porovnává, obezřetně.

Interval
V kapitole Interval spolehlivosti je uvedeno, pro jaký interval je výsledek z dané spolehlivosti relevantní. Avšak lze vyhodnocovat i obráceným způsobem. Pokud je zadán interval, je třeba vypočíat, na kolik pravděpodobný bude i výsledek ze simulace, tzn. na kolik bude pravděpodobné chování v realitě.

Hodnota
Pro zadanou hodnotu platí, že výsledek simulace se srovnává pomocí operátorů větší, rovno a menší než. Typickým příkladem mmůže být simulace pro výpočet růstu mzdy. Růst mzdy se vypočítává podle ohodnocení zaměstnance, fixního procenta a také podle profitu firmy. Jednotlivec si rozhodne, podle svého užitku, o jakou minimální část chce svoji výplatu rozšiřovat. Tu pak porovnává s výsledekm simulace. Je-li ve vetšině případů (interval spolehlivosti) růst stejný nebo vyšší, pak ve firmě zůstává. Shledá-li svůj užitek vyšší než předpokládaný růst mzdy, pak si může například hledat nové pracovní místo.

=Proces sestrojení simulace= Vytváření simulace začíná otázkou, na kterou nelze přímo odpovědět. Tato otázka by měla být obsahově významná. Pokud toto platí, pak je třeba zjistit, zdali tento problém už nějaká simulace neřešila. Jestliže je nazelena simulace, která je schopna tuto otázku replikovat, pak není třeba simulaci modelovat. Pokud ovšem žádná taková simulace neexistuje, je třeba ji navrhnout a vytvořit.

Dále je nutno ověřit, zdali vytvořený model koresponduje s realitou. Toto je blíže popsáno v kapitole Validace. Také se provádí kontrola verifikací. Verifikací se realizuje kontrola modelu na bázi vnitřní struktury, neboli zda se chování a operace v modelu shoduje s naší představou o chování navrhovaného modelu. Pomocí vytvořeného modelu je třeba simulovat danou problematiku dosazením vstupních parametrů. Simulace na konci zobrazí pravděpodobnou variantu výsledku. Aby byly výsledky simulace relevantní, je třeba ji spustit několikrát za sebou se stejným nastavením parametrů. Výsledky/výstupy se vkládají do tabulky, ze které lze pak vytvářet rozhodovací tabulky, statistické výpočty či konstruovat grafy. O tomto tématu bude pojednáno v kapitole o metodách interpretace výsledků.

Verifikace
Jak bylo v úvodu kapitoly zmíněno, jedná se o proces kontroly metod simulace vzhledem k formální specifikaci simulace. Bez verifikace není možné považovat výsledky testů za spolehlivé. Provádí se pomocí skupiny logických oprací, jejichž cílem je ověření nebo vyvrácení navrženého modelu.

Validace
Validací se rozumí procedura, při které se kontroluje chování simulace vzhledem reálnému chování modelovaného příkladu. Zjednodušeně řečeno se ověřují data, která jsou použitá na vstupu i v modelu. Taková data, jejichž interval musí v hodnotách kopírovat "hodnoty" reálného chování. Pokud projde model validací, pak se může říci, že je jeho datová základna správná.

Histogram


Tato metoda je pro interpretaci výsledků jednou z nejrychlejších pohledů na vývoj ze simulace Monte Carlo. Opakované testy, které jsou zapisovány do tabulkového editoru (např. Excel), lze jednoduše statisticky převést na graf. Aby byl graf co možná nejvhodnější, je třeba se držet následujících pravidel:




 * Data, která se zde zobrazují, jsou reprezentovány svislou osou y
 * Vodorovná osa x slouží pro jednotku parametru, kterou simulace sleduje
 * Měřítko je třeba uzpůsobit, aby se výsledky nejevili příliš stejné, a aby byl vidět trend grafu

Následující příklad je výsledkem simulace metodou Monte Carlo. Zadání úlohy se týká zjednodušené předpovědi prodejů, kde každý krok simulace bude zaznamenáván do tabulky. Celé zadání si lze přečíst zde. Společnost XYZ by chtěla vědět, jak bude na trhu výnosná s jejich novým produktem. Zároveň si uvědomuje, že zde existuje mnoho parametrů předem neznámých, které působí jako nejistota velikosti trhu, náklady společnosti, její výnosy, konkurenci a jiné. Po namodelování této simulace jsou provedeny testy, jejichž výsledky ústějí v tabulku, která má 5000 řádků. Pro ilustraci je dostupná ke stažení na adrese http://www.vertex42.com/ExcelArticles/mc/SalesForecast.html. Z této tabulky je pak profit převeden do grafu.

Z histogramu lze vyčíst následující informace:


 * Zdá se, že výnos bude většinou pozitivní
 * Nejistota je poměrně velká a to v rozmezí -1000 až 3400
 * Rozdělení neodpovídá dokonalému Normálnímu rozdělení
 * V grafu nejsou extrémní hodnoty, výjimky apod.

Jak je v úvodu uvedeno, ačkoliv lze histogram použít pro takto zevrubná pozorování, je třeba se spíše zajímat o hodnoty. Ty jsou statisticky převoditelné, jak se může čtenář přesvědčit v následujících kapitolách. Jednoduše lze pak také vyvodit, zda je výsledek vyšší nebo nižší než stanovená hodnota anebo se nachází v/mimo rozmezí ze stanoveného intervalu. V tomto případě byl dotaz naformulován tak, aby odpovědí byl jasný trend profitu.

Předchozí diagram zobrazoval na ose x jakési bary, které zastupují pouze „slepé“ pravítko. V následujícím obrázku jsou výsledky převedeny tak, aby měl každý sloupec x vyobrazenou reálnou hodnotu.

Metoda maximální věrohodnosti
Tato metoda se používá obecně v matematické statistice k odhadu neznámých veličin. Tyto odhady jsou založeny na již pozorovaných datech. Metoda maximální věrohodnosti označuje jednu z centrálních metod matematické statistiky. Úlohou matematické statistiky je, zjednodušeně řečeno, odhad neznámých veličin v závislosti na pozorovaných (experimentálních) datech. K odhadu je zapotřebí vytvořit pravděpodobnostní model skutečné situace a ověřit, zdali je tento model aplikovatelný ve skutečnosti.

Popis metody

Metoda maximální věrohodnosti umožňuje počítat velmi dobré odhady jednotlivých parametrů. Centrální výpočetní formulí je tzv. věrohodnostní funkce. Následující definice je citována.(DUPAČ,HRUŠKOVÁ, 2004)

Nechť $$X = (X_{1},...,X_{n})$$ je náhodný výběr a $$x = (x_{1},...,x_{n})$$ je jeho realizace. Nechť je dále popsána populace pomocí regulární hustoty $$f(x,\Theta)$$, kde $$\Theta$$ je neznámý parametr. Potom funkci $$L(x,\Theta) = L(x_{1},...,x_{n},\Theta) = f(x_{1},\Theta) * f(x_{2},\Theta)......f(x_{n},\Theta)$$ budeme nazývat věrohodnostní funkcí.

Jestliže existuje bod $${\hat {\theta }}$$ z parametrického prostoru ,takový že pro všechny hodnoty parametru $$\theta$$ z parametrického prostoru platí $$L(X,\theta) \leq L(X,{\hat {\theta }})$$

potom nazveme tento bod maximálně věrohodným odhadem neznámé hodnoty parametru $$\theta$$. Pokud je funkce maximální věrohodnosti dostatečně hladká, pak je možné hledání maximálních hodnot zjednodušit na prosté hledání maxim pomocí parciálních derivací. V mnoha případech nemusíme pracovat přímo s věrohodnostní funkcí $$ L(x_{1},...,x_{n},\Theta)$$, ale s jejím logaritmem (součin hustot bude nulový jen na míře nula, proto můžeme použít logaritmus). Protože je funkce logaritmus prostá a rostoucí, budou všechny maximální hodnoty funkce $$ln(L(x_{1}....,x_{n},\Theta))$$ stejné jako funkce $$L(x_{1}....,x_{n},\Theta)$$.

Jakým způsobem jsou data zpracována, může čtenář naleznout zde. Důležité ovšem je, že tato metoda pomáhá vytvořit odhad věrohodnosti dat, které jsou výsledkem simulace Monte Carlo. Aby však tato metoda fungovala, musí být model simulace a pravděpodobnostní model odrazem reality. Pokud je vágní či zkreslený, pak je odhadovaný vývoj odhadu nesoudržný s výslednými daty simulace. Pro tuto metodu je dostatečné množství dat klíčové.

Interval spolehlivosti


Intervaly spolehlivosti jsou spíše nástrojem než metodou statistické analýzy. Definují, s jakou pravděpodobností se vyzkoumaný jev objeví. Tímto se samozřejmě řídí i výsledné hodnoty MC simulace. Příkladem bude 95% interval spolehlivosti. Pokud je vybráno 100 náhodně zvolených hodnot, 95% z nich bude v definovaném intervalu. Aplikováno na výše uvedený příklad z byznysu. Pro 95% výsledků bude profit ležet v intervalu $$<-1000; 3000>$$ $. V intervalu $$(0; 3000>$$ bude ležet 70%  výsledků. Dále už je rozhodování na odpovědné osobě, zdali chce připustit pro svou firmu 30% riziko nenávratnosti při uvedení nového produktu na trh.

Proč využívat interval spolehlivosti v interpretaci výsledků metody Monte Carlo? Protože ne vždy je výsledek aplikovatelný k pouze jedné hodnotě nebo je tolerance problému omezena.

Například pro firmu je důležité utržit zisk, proto musí být profit větší než 0 a samozřejmě z druhé strany není zisk nijak omezen. Ale pro rozhodnutí, na kolik minut je puštěn kotel k udržování zadané teploty (úloha pro termostat - možný námět na simulaci) musí být hodnota v rozmezí teploty. To znamená, že kotel nemůže být vždy vypnutý, a zároveň nikdy neběží donekonečna.

Kolmogorovův-Smirnovův test
Tato metoda , která je také součástí matematické statistiky, testuje, jestli 2 proměnné pramení ze stejného rozdělení pravděpodobnosti. Pro výsledky z metody Monte Carlo může být tato interpretace klíčová. Dále testuje, zda má jedna hodnota předpokládané rozdělení. Test existuje ve 2 verzích.

Test pro 1 výběr

Testo test ověřuje druh hypotéz, které zkoumají, zda má výsledek testu (proměnná) určité rozdělení (např. normální).

Výběr dat, určený k testování teoretického rozdělení, se uvede hypotézou $$H_{0}$$. Ke vstupu je nutné zasadit k tříd výběru $$k$$ testování a jaký je druh teoretického rozdělení ke každé třídě. Všechny tyto třídy testovaného výběru pak musí mít spočteny četnosti $$ n_{1i}$$ a stejně tak se spočítají četnosti i pro teoretické rozdělení $$ n_{2i}$$. Vzorec pro četnost: $$f_{i}={\frac {n_{i}}{N}}={\frac {n_{i}}{\sum _{i}n_{i}}}$$.

Poté je třeba aplikovat kumulativní rozdíl četností pro $$ N_{1i}$$ a $$ N_{2i}$$. Pro znázornění jak vypočítat $$ N_{ai}=\sum _{j=1}^{i}n_{aj}$$, kde $$a$$ představuje 1 nebo 2 v závislosti k hodnocení třídy výběru nebo k hodnocení třídy teoretického rozdělení.

Rozdíl je pak formulován následujícím vzorcem, jehož výslledek představuje hodnocené kritérium:

$$ D_{1}={\frac {1}{n}}\max _{i}|N_{1i}-N_{2i}|\$$, kde $$n$$ zastupuje celkový počet prvků výběru.

Výsledná hodnota $$D_{1}$$ je srovnána s $$D_{1max}$$, což je krajní hodnota pro hladinu význmnosti, značená α. Pro celkový počet výběru $$n\leq 40$$ je rozdělení k dispozici zde. Pokud je $$n>40$$, $$D_{1max}$$ je nutné spočítat. K tomuto účelu se podle níže uvedené tabulky tato hodnota dopočítá.

Test pro 2 výběry

Test pro 2 výběry slouží ke srovnávání 2 výběrů rozdělení náhodných veličin. V hypotéze $$H_{0}$$ je uvedeno, že u obou výběrů dochází ke stejnému rozdělení. Srovnávání probíhá podobným způdobem jako u testu s jedním výběrem. V testu pro 2 výběry se porovnává rozdíl buď kumulativních četností, a to pro ( $$ n\leq 40$$ ) anebo se srovnává rozdíl 2 výběrů relativních kumulativních četností pro ( $$ n>40$$ ). Přitom platí, že $$ n_{1},n_{2}$$ představují sumy počtu elementů z výběru. výpočet kumulativních četností je uveden v kapitole Test pro 1 výběr. Pro relativní kumulativní četnosti platí následující formule: $$ F_{1i}={\frac {1}{n}}N_{1i}$$, $$ F_{2i}={\frac {1}{n}}N_{2i}$$. Hodnoceným kritérium je $$D_{2}$$ :

$$ D_{2}=\max _{i}|N_{1i}-N_{2i}|\$$, $$ D_{2}=\max _{i}|F_{1i}-F_{2i}|\$$.

$$D_{2max}$$ se vypočítá k vybrané hladině významnosti podle tabulky:

Pro účely vyhodnocení výsledků a srovnávání s naměřenými hodnotami je vhodnější použít test pro 2 výběry proměnných a zobrazit je trendem vůči bodovému grafu. Pro ukázku jak může vypadat srovnání v testu pro 1 a 2 výběry na obrázku vpravo.

=Rizika špatné interpretace= Tato kapitola není matematicky konstruována a má za úkol čtenáře seznámit s možným úskalím při vyhodnocování výsledků, ať už jakoukoliv metodou. Velmi lehce se ale opomenou tyto hrozby, což může vést ke špatné dedukci. Následkem mylného pochopení dat, či chybě v modelu se pak vytváří neprávná rozhodnutí.

Nevhodný model reality
Snadno se stane, že zkonstruovaná simulace, která je vytvořena třetí stranou, může být chybná nebo použita pro úzké praktické využití, do kterého úplně nezapadá žádaný příklad. Simulace předpovědi počasí na horách bude mít nejspíše specifické vlastnosti, které se nehodí například pro předpověď počasí v nížinách, na pouštích či nad oceány. Vždy je vhodné si přečíst dokumentaci k vydané simulaci a zjistit, jestli je simulace použitelná pro zadaný příklad.

Vágní simulace
Vytváření správných simulací je nelehký úkol. Vždy se postupuje od sestavení kostry simulace. Následně se simulace zesložiťuje a nabírá na komplexitě. Samozřejmě, že při majoritním rozšiřování komplexity je nutné simulaci řádně testovat, neboť počet chyb v chování simulace roste s přibývající složitostí. Řídit se ale výsledky z nedokončené nebo příliš jednoduché simulace se nemusí vyplatit. Tato problematika je zahrnuta v kapitole Verifikace.

Nesprávná data
Tento problém je jednoduše pochopitelný. Když se na vstup dostanou chybná data, dá se předpokládat, že simulace nasimuluje ve výstupu výsledky relevatní vstupním parametrům. Kontrola vstupních dat je nutná a v tomto učebním textu již byla zmíněna termínem Validace. Ověřování dat je stejně, ne-li více důležité, než samotný proces simulace.

Málo spuštěných simulací
Statistika dokáže být silný nástroj, ale pouze tehdy, když disponuje dostatečným množstvím dat. Proto je nutné simulaci spustit několikrát po sobě, i se stejnými parametry, aby se mohly výsledky statisticky interpretovat. S malou datovou základnou nelze vyvodit správný závěr.

Špatná interpretace dat
Výše zmíněné metody pro interpretaci statistických výsledků, nejsou samozřejmě alfou omegou pro každou simulaci. Vhodnost jejich použití je klíčová. Lidský přístup velí k rychlému porozumění výsledkům, a tím se rozhodně řídí i skupina histogramů a jiné graficky příhodné diagramy. Výzkumné zprávy vyžatují tvrdá data a tabukou jasně definované hranice výsledků. Rozhodování o financích bude kombinací vhodných grafů a zodpovězenou otázkou.

Výsledek není stoprocentní
Ačkoliv může být model sebelepší, data ověřená, počet spuštěných testů bude dostatečný a zpracování výsledků "user-friendly", je třeba brát v potaz, že model nikdy není dokonalý. Dochází totiž i k extrémním případům chování, zaviněného náhodnými veličinami, které model nemusel ve výsledku zahrnout. Pro interval spolehlivosti 99% je vždy jednoprocentní šance, že se systém bude chovat úplně jinak. To je třeba brát v potaz.

Skrytá nástraha
Skrytou nástrahou se zde rozumí simulace, která vychází podle představ zadavetele problému, nicméně díky zkreslenému pohledu je výsledek klamný. Typickým příkladem je příjem společnosti, který se zvyšuje. Co ale není zahrnuto v simulaci, je zárověň se zvyšujícím se příjmem, také zvyšující se hrozba krachu. Pro příklad čím je firma na trhu viditelnější, stává se terčem silnější konkurence, která může společnost zničit. Toto riziko se špatně odhaluje a tím jej nelze matematicky jakkoliv vyloučit. Samozřejmě pokud je simulace komplexnější, a zahrnuje i vzestupy konkurencí a další faktory trhu, mohou být tyto hrozby minimalizovány.

=Reference=