Metody redukce rozptylu

From Simulace.info
Jump to: navigation, search


Předmluva

K problematice redukce rozptylu není příliš velké množství českých zdrojů. Jedná se většinou o akademické práce, které citují zahraniční autory. Texty blíže se zabývající tímto tématem jsou primárně v anglickém jazyce a k vysvětlení využívají nástroje statistiky, které nemusí být čtenáři s pouhými základními znalostmi ze statistiky příliš jasné. Jelikož i já, autor tohoto textu, oplývám pouze základními znalostmi z oboru statistiky, budu se snažit v tomto učebním textu popsat metody redukce rozptylu co možná nejjednodušeji, aby si z něj čtenáři, kteří jsou na obdobné úrovni znalostí, odnesli pokud možno jakési základy, které jim pomohou lépe toto téma pochopit. Zároveň tím apeluji na zkušenější čtenáře, aby pomohli s korekcí a rozšířením tohoto textu o hlubší poznatky ze statistiky, které by navazovaly na mnou vytvořený základ.

Náhodná veličina a její rozptyl

Náhodná veličina (též náhodná či stochastická proměnná) je nějaká libovolná veličina mající číselnou hodnotu (např. 1, -150 nebo 18,6) a jednotku (kilogram, metr, litr, ...). Tuto veličinu můžeme měřit u různých objektů, v různém čase, různém místě a pomocí teorie pravděpodobnosti a matematické statistiky s ní různě pracovat. Příkladem náhodné veličiny může být počet ok při hodu kostkou, hmotnost narozených dětí v různých regionech, roční mzda občanů státu apod.[1]

Náhodná veličina může být buď diskrétního nebo spojitého typu. Oba typy si jsou velmi podobné, což je vidět v následujících podkapitolách.

Diskrétní náhodná veličina

Pravděpodobnostní funkce diskrétního Poissonova rozdělení[2].
Distribuční funkce diskrétního Poissonova rozdělení[3].

Diskrétní (též nespojitá) náhodná veličina je taková náhodná veličina, která může nabývat pouze jednotlivých hodnot z konečného nebo nekonečného intervalu. To znanená, že se může měnit jen po skocích[1]. Příkladem spojité náhodné veličiny může být počet ok při hodu kostkou, který může nabývat pouze hodnot .

Zkoumáme-li potom pravděpodobnost, že na hozené kostce padne konkrétní hodnota, můžeme těmto možným hodnotám přiřadíit jejich pravděpodobnost výskytu, čímž získáme pravděpodobnostní funkci diskrétní náhodné veličiny . Sestavením tabulky s možnými hodnotami ok na kostce značených a pravděpodobnostmi, že padne právě tento počet ok získáme průběh pravděpodobnostní funkce , která každému přiřazuje jeho pravděpodobnost značenou , což můžeme zapsat jako , slovy "pravděpodobnost, že náhodná veličina nabyde hodnoty ".

Kromě pravděpodobnostní funkce nás zajímá také distribuční funkce , a to v případech, kdy chceme určit pravděpodobnost, že veličina nabyde hodnoty menší než , což lze zapsat jako

a v případě diskrétní náhodné veličiny ji lze určit "nasčítáním" všech předchozích pravděpodobností před zvolenou hodnotou, tedy touto sumací:

.

Známe-li hodnoty, kterých může náhodná veličina nabývat, a pravděpodobnosti výskytu těchto hodnot, můžeme spočítat střední hodnotu (též označnovanou jako první počáteční moment) jako

Pro příklad si můžeme představit obyčejnou šestihrannou kostku. Pravděpodobnost, že padne jedna z 6 možných hodnot na kostce stejná, proto pravděpodobnostní funkci lze zapsat jako

.

A protože tyto hodnoty pokrývají všechny možné, které mohou nastat, je jejich součet roven jedné. Platí tedy vztah

.

Díky tomu, že jsou pravděpodobnosti v tomto případě vždy stejné, zjednodušuje se tím i vzoreček pro výpočet střední hodnoty, který je potom pouze

.

Jedná se v podstatě o prostý aritmetický průměr. Kdybychom ale zkoumali náhodnou veličinu, kterou by byl součet ok na dvou hozených kostkách, nebyla by pravděpodobnost vždy stejná, protože například součet 5 můžeme hodit čtyřmi způsoby: (1,4), (2, 3) (3, 2), (4, 1), a tudíž bychom nemohli použít prostého aritmetického průměru[4].

Spojitá náhodná veličina

Hustota pravděpodobnosti spojitého Normálního rozdělení[5].
Distribuční funkce spojitého Normálního rozdělení[6].

Spojitá náhodná veličina je taková náhodná veličina, která může nabývat všech možných hodnot z konečného nebo nekonečného intervalu, může se tedy měnit bez skoků (spojitě)[1]. Ekvivalentem diskrétní pravděpodobnostní funkce je zde hustota pravděpodobnosti značená [4].

Spojitá náhodná veličina má rovněž distribuční funkci , kterou získáme když budeme integrovat hustotu pravděpodobnosti od mínus nekonečna do : F(X)=\int_{-\infin}^{x}f(t)dt. Chceme-li naopak z distribuční funkce získat hustotu pravděpodobnosti, stačí nám provést inverzní operavi k integrálu, kterou je derivace:

Stejně jako v případě pravděpodobnostní u diskrétní náhodné veličiny, hustota pravděpodobnosti u spojité náhodné veličiny splňuje podmínku

Střední hodnotu pak dostaneme podobně jako u diskrétní funkce, a to integrováním hustoty pravděpodobnosti násobené hodnotou :

Spojitou veličinu můžeme "převést" na diskrétní tak, že její průběh rozdělíme do dílčích intervalů[1]. Kdybychom například zkoumali hmotnosti pro zápasy v bojových sporetch a předpokládali, že hmostnosti účastníků budou rozděleny od 60 kg výše, čemuž odpovídá interval a chtěli bychom určit 6 váhových katerogií, rozdělili bychom původní interval například takto[7]:

Pravděpodobnostní rozdělení

Podrobnější informace o pravděpodobnostních rozděleních

Pravděpodobnostní rozdělení (též rozdělení, rozložení nebo distribuce pravděpodobnosti) je pravidlo, podle kterého je každému náhodnému jevu přiřazena určitá (známá) pravděpodobnost. Pravděpodobnostní rozdělení se v závislosti na typu náhodné veličiny dělí na diskrétní (např. Alternativní, Binomické, Nagativní binomické, Poissonovo rozdělění) a spojitá (např. Rovnoměrné, Normální, Exponenciální, Logaritmicko-normální rozdělění).

Rozptyl

Rozptyl (též střední kvadratická odchylka, variance nebo disperze) je jednou z charakteristik náhodné veličiny, konkrétně jde o charakteristiku variability a udává, jak moc jsou hodnoty v našem statistickém souboru rozptýleny[4].

Uvažujeme-li náhodnou veličinu , pak její rozptyl se označuje , , nebo a spočítá se jako "střední hodnota kvadrátů odchylek od střední hodnoty".

Pro diskrétní náhodnou veličinu tuto větu můžeme vyjádřit vztahem

,

kde jsou hodnoty, kterých může náhodná veličina nabývat (s pravděpodobnostmi ) a je střední hodnota veličiny . Chceme-li rozptyl počítat "ručně", je vhodnější použít tzv. výpočetní tvar[4]

Pro spojitou náhodnou veličinu je vztah podobný, jen místo sčítání integrujeme. Vztah vypadá potom takto

,

kde je hustota pravděpodobnosti veličiny .

A obdobně jako u diskrétní náhodné veličiny, i zde můžeme použít jednodušší "výpočetní tvar"[4]

Zákon velkých čísel a centrální limitní věta

Zákon velkých čísel a konvergence výběrového průměru k teoretiské střední hodnotě při hodu šestihrannou kostkou[8].
Centrální limitní věta a znázornění obecného diskrétního rozdělení, které se blíží rozdělení normálnímu[9].

Při použití metody Monte Carlo v podstatě generujeme obrovské množství scénářů, které potom skládáme dohromady průměrováním. V tom nám pomáhá zákon velkých čísel a centrální limitní věta

Zákon velkých čísel lze nejlépe ilustrovat na příkladu s házením kostkou. Budeme-li házet 6hrannou kostkou stále dokola a získané hodnoty, které na kostce padly, průměrovat, tak s rostoucím počtem pokusů náš zaznamenávaný průměr bude asymptoticky kolísat kolem teoretické (vypočtené) střední hodnoty[10]:

Lze tedy říci, že výběrový průměr

bude konvergovat ke střední hodnotě

Díky centrální limitní větě potom můžeme využívat toho, že při velkém počtu opakování bude mít libovolná veličina přibližně normální rozdělení se snižujícím se rozptylem [11].

Metoda Monte Carlo

Podrobnější informace o metodě Monte Carlo

V simulacích pomocí metody Monte Carlo se snažíme pomocí generování náhodných čísel a mnoha opakování náhodných pokusů získat obecné charakteristiky nějakého modelovaného jevu. To je možné díky platnosti zákona velkých čísel a centrální limitní věty. Pomocí metody Monte Carlo lze získávat relativně jednoduše přibližné výsledky tam, kde by bylo použití analytických modelů složité, ba nemožné. Metody Monte Carlo je využíváno i například v systémech založených na teorii front.

Metody redukce roptylu

Když provádíme simulaci, obvykle v rámci nějaké studie, zajímá nás jedna nebo více sledovaných hodnot nějakého stochastického (nedeterministického) modelu. Například chceme zjistit, dlouhodobou střední (průměrnou) dobu čekání zákazníků ve frontě, kterou budeme značit . Střední dobu čekání značme například . Abychom odhadli , musíme provést nezávislých simulací. Po provedení těchto simulací a zjištění středních hodnot dob čekání lze stanovit estimátor podle vztahu . Kdybychom však našli jiný nezkreslený estimátor střední hodnoty s menším rozptylem než má , získali bychom tím estimátor s menším intervalem spolehlivosti, což je pro náš žádoucí. Pro zredukování rozptylu estimátoru lze použít několik metod, které jsou popsány v následujících kapitolách. I ty jednodšší podávají vcelku dobré výsledky. Je ale třeba dát si pozor, protože nesprávným použitím některých metod může místo snížení rozptylu naopak dojít k jeho zvýšení[12].

Metoda společných náhodných čísel

Metoda společných náhodných čísel využívá toho, že pokud zkoumáme a porovnáváme dva různé systémy, které obsahují nějaké náhodně se chovající komponenty, je obecně lepší při vyhodnocování takovýchto systémů v nich používat vždy stejně implementované náhodné komponenty. Metoda využívá klíčové vlastnosti dvou náhodných veličin a , která je dána vztahem

.

Jestliže jsou náhodné veličiny a závislé a jsou pozitivně korelovány, tzn. že platí i , potom bude rozptyl rozdílu menší než kdyby veličiny a byly nezávislé. Obecně použití metody společných náhodných čísel vede k tomu, že i výsledky simulace dvou takto zkoumaných systémů budou pozitivně korelovány, proto je při porovnávání dvou systémů lepší použít společná náhodná čísla místo zcela nezávislých náhodných čísel.

Problém by nastal, pokud by byly veličiny negativně korelovány. V takovém případě by došlo naopak ke zvýšení rozptylu, což je ve většině případů nežádoucí[12].

Příklad užití metody společných náhodných čísel

Pro ilustraci metody společných náhodných čísel použijeme následující příklad zabývající se zpracováním konečného počtu úkolů, které jsou zpracovávány dvěma identickými stroji. Doby zpracování úkolů na jednotlivých strojích jsou náhodné veličiny z nějakého obecného rozdělení, jehož distribuční funkci označmě . Naším úkolem je porovnat čas dokončení posledního úkolu, značený , za platnosti dvou různých pravidel. Prvním pravidlem je LPTF (Longest Processing Time First), podle něhož si stroj bude vybírat z množiny ještě nezpracovaných úkolů ty úkoly, jejichž doba zpracování je největší. Druhé zkoumané pravidlo SPTF (Shortest Processing Time First) bude stroji říkat, aby si z množiny zbývajících úkolů vybíral nejprve ty nejkratší, čili ty s nejmenší dobou zpracování[12].

Srovnáme-li výsledky simulace pro úkolů s délkou z exponenciálního rozdělení s distribuční funkcí , pak dostaneme jiné estimátory a intervaly spolehlivosti pro střední hodnotu , když použijeme společná náhodná čísla, než když je nepoužijeme. Srovnání sledovaných hodnot znázorňují následující dvě tabulky, z nichž první ukazuje hodnoty získané bez použití metody nezávislých náhodných čísel, a druhá ukazuje snížení rozptylu právě použitím této metody[12].

Tabulka 3: Odhad střední hodnoty bez použití této metody[12]
Počet běhů simulace Střední hodnota Směrodatná odchylka 95% interval spolehlivosti
Tabulka 4: Odhad střední hodnoty s použitím metody společných náhodných čísel[12]
Počet běhů simulace Střední hodnota Směrodatná odchylka 95% interval spolehlivosti

Z hodnot je patrné, že došlo přibližně k 5násobnému snížení směrodatné odcyhlky, a tím i k 5násobnému zúžení intervalu spolehlivosti.

Při použití této metody však existuje riziko vyplývající s nutnosti použití stejných náhodných počátečních čísel při generování náhodných veličin v obou systémech. Tento problém se synchronizací by mohl nastat, kdybychom uvažovali systém front , v němž může server pracovat dvěma různými rychlostmi a . Kdybychom v tomto případě chtěli získat estimátor pro rozdíl v čekacích dobách za použití různých rychlostí, museli bychom v rámci této metody použít stejné mezičasy zpracování a stejně velké požadavky. (Dobu obsluhy bychom získali podílem velikosti požadavku a rychlosti serveru.) Tím bychom narazili na problém synchroznizace, protože při vyšší rychlosti zpracování úkolů by se fronta posouvala rychleji[12]. Tento problém lze vyřešit dvěma způsoby:

  1. Použitím více oddělených toků náhodných čísel pro různé sekvence náhodných veličin potřebných k provedení simulace.
  2. Zajištěním, že budou náhodné veličiny generovány v přesně stejném pořadí v obou zkoumaných systémech.

Pozn.: fronta představuje délku fronty v systému s jediným serverem, kde mají mezičasy nějaké obecné rozdělení (jako General - obecné) a časy obsluhy jiné obecné rozdělení [13]

Antitetické proměnné

Metoda antitetických proměnných využívá skutečnosti, že pokud je náhodná veličina z rozvnoměrného rozdělení nabývajícího hodnot z intervalu , pak musí platit, že je také z rovnoměrného rozdělení. Zároveň využívá toho, že a musí být nutně negativně korelované (když se zvýší , logicky musí dojít ke snížení a naopak)[12].

Klíčovou myšlenkou celé této metody je pak to, že máme-li dva výsledky po sobě jdoucích simulací a , pak platí, že

Z tohoto vztahu vyplývá, že budou-li výsledky simulace a negativně korelovány, bude jejich rozptyl menší, než kdyby na sobě oba výsledky nebyly závislé.

Otázkou je, jak zajistíme, aby výsledky dvou po sobě jdoucích běhů simulace byly negativně korelované. Jak už bylo zmíněno dříve, a jsou negativně korelované, díky čemuž můžeme předpokládat, že když pro první běh simulace použijeme náhodné proměnné k výpočtu výsledku simulace a poté použijeme použijeme náhodné proměnné k výpočtu , bude to znamenat, že i a budou negativně korelované. Selský rozum nám říká, že v obdobném případě se simulací fronty povede velké množství hodnot z , kterým odpovídají dlouhé časy obsluhy, k dlouhým čekacím dobám v prvním běhu simulace. Použití antitetických proměnných v druhém běhu simulace způsobí naopak krátké časy obsluhy, a tím i krátké čekací doby[12].

Příklad užití metody antitetických proměnných

Výsledky použití antitetických proměnných znázorňují následujícíc dvě tabulky, z nichž první ukazuje odhad střední doby trvání posledního úkolu bez použití této metody a druhá s použitím této metody.

Tabulka 5: Odhad střední hodnoty bez použití této metody[12]
Počet běhů simulace Střední hodnota Směrodatná odchylka 95% interval spolehlivosti
Tabulka 6: Odhad střední hodnoty s použitím metody antitetických proměnných[12]
Počet párů proměnných Střední hodnota Směrodatná odchylka 95% interval spolehlivosti

Srovnáme-li opět výsledky simulace pro úkolů s délkou z exponenciálního rozdělení s distribuční funkcí , pak dostaneme jiné estimátory a intervaly spolehlivosti pro střední hodnotu , když použijeme metodu antitetických proměnných, než když je nepoužijeme. Srovnáváme zde výsledky 1000 nezávislých běhů simulace s 1000 záviclých běhů sestávajích z 500 dvojic běhů, které jsou na vzájemně závislé a používají právě antitetické proměnné. Z hodnot tabulky je patrné, že došlo k 1,5násobnému snížení směrodatné odchylky, a tím i k 1,5násobnému zúžení intervalů spolehlivosti[12].

Je nutno podotknout, že podobně jako při použití metody společných náhodných čísel, i zde může dojít k problému se synchronizací. Dále je užitečné uvést, že tato metoda je určitě jednodušší na implementaci, protože nám stačí pouze jeden zdroj rovnoměrně rozložených náhodných čísel k vygenerování jendoho páru antitetických proměnných.

Metoda řídících proměnných

Metoda řídících proměnných je založena na myšlence, která říká, že pokud chceme odhadnout střední hodnotu neznámé veličiny měřící výkonnost za použití nezávislých běhů simulace, pak pro výstup i-tého běhu simulace bude platit . Nezkreslený estimátor pro je dán jako . Navíc předpokládejme, že jsme zároveň schopni simulovat průběh související výstupní proměnné , pro kterou platí a my už známe. Označíme-li nezkreslený estimátor jako , pak pro libovolnou konstantu je součet také nezkresleným estimátorem . Z následujícího vztahu

lze vyvodit, že rozptyl bude minimalizován, pokud použijeme konstantu , kde

[12].

Bohužel, konkrétní hodnoty pro a obvykle neznáme předem, musíme je ohdadnout ze simulovaných dat. Hodnota se zde nazývá řídící proměnná estimátoru .

Tato metoda funguje díky tomu, že uvažujeme-li pozitivně korelované a , pak v simulaci, kde je hodnota výstupu mnohem vyšší než průměrná hodnota výstupu , bude pravděpodobné, že i vstupní hodnota bude větší než její průměr , což můžeme opravit tak, že snížíme hodnotu vstupní proměnné (estimátoru) . Totéž platí analogicky i pro negativně korelované proměnné[12].

V příkladě s produkční linkou by jako přirozeně vzniklá řídící proměnná mohla být dlouhodobá průměrná rychlost produkce linky, která má nárazníky (buffery) o nulové délce.

Metoda závislých proměnných

Tato metoda je založena na následujících dvou vztazích. Jestliže a jsou dvě libovolné náhodné veličiny, pak platí

1.
2. ,

z čehož vyplnývá, že náhodná veličina bude mít stejnou střední hodnotu jako náhodná veličina , a navíc bude mít menší rozptyl než [12].

Tyto vztahy nám mohou pomoci snížit rozptyl v simulacích. Předpokládejme, že bude nějaký výkonnostní ukazatel, který chceme odhadnout. Jestliže zavedeme náhodnou proměnnou takovou, že budeme znát , tak z předchozích dvou vztahů můžeme předpokládat, že pro nás bude lepší simulovat a tedy používat , než přímo simulovat veličinu .

Ukažme si to na příkladu modelu fronty , ve kterém systém nepřijme více než zákazníků, ti budou ze systému ztraceni. Cílovou veličinou, kterou budeme sledovat, je střední doba ztracených zákazníků v daném čase . Kdybychom pracovali přímo s veličinou , tak bychom provedli simulací až do okamžiku . Počet ztracených zákazníků v jednotlivých simulacích značme . Nezkreslený estimátor by potom byl .

Díky použití této metody ale můžeme rozptyl estimátoru snížit následovně. Uvažujme nejprve , které bude značit celkový čas z intervalu , při počtu zákazníků v systému v i-tém běhu simulace. Díky tomu, že příchody zákazníků jsou z Poissonova rozdělení s parametrem , pak naše podmíněná střední hodnota bude . Změní se tím i estimátor, který bude nyní , kde .

Následující tabulky srovnávají hodnoty estimátoru a intervaly spolehlivosti pro různé počty simulací s parametry , , a získané bez použití metody závislých proměnných, a druhá ukazuje snížení rozptylu právě použitím této metody[12].

Tabulka 5: Odhad střední hodnoty bez použití této metody[12]
Počet běhů simulace Střední hodnota Směrodatná odchylka 95% interval spolehlivosti
Tabulka 6: Odhad střední hodnoty s použitím metody podmíněných proměnných[12]
Počet běhů simulace Střední hodnota Směrodatná odchylka 95% interval spolehlivosti

Z hodnot v tabulce je patrné, že metoda podmíněných proměnných snížila směrodatnou odchylku 1,3krát, čímž i zúžila interval spolehlivosti 1,3krát.

Další metody pro redukci rozptylu

Kromě již uvedených metod snižování rozptylu existují ještě další, které stojí za zmínku a jsou v praxi používány. Mezi ty patří[14]:

  • Metoda momentů
  • Výběr podle důležitosti
  • Stratifikovaný výběr
  • Regresní modely

Závěr

Díky uvedeným metodám lze snížit rozptyl v simulacích, které využívají metodu Monte Carlo. Některé metody pomohou snížit rozptyl více, některé méně, přičemž z uvedených metod dokázala nejvíce snížit rozptyl metoda Antitetických proměnných. V závislosti na typu úlohy a nám známých informacích bychom neměli volit zbytečně složitou metodu. Při snaze o snižování rozptylu je nutné mít na paměti, že ne vždy je čas strávený nad imlementací některé z metod kompenzován odpovídajícím výsedkem. V praxi se totiž může stát, že námi navržený model bude obsahovat nedostatky, které se projeví negativně na kvalitě výsledku mnohonásobně více než vyšší rozptyl.

Zdroje

  1. 1.0 1.1 1.2 1.3 Náhodná veličina Veterinární a farmaceutická univerzita Brno [online]. [cit. 2016-06-08]. Dostupné z: http://cit.vfu.cz/statpotr/POTR/Teorie/Predn1/nahvelic.htm
  2. Pravděpodobnostní funkce diskrétního Poissonova rozdělení Skbkekas 2010-02-10 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Poisson_pmf.svg
  3. Distribuční funkce diskrétního Poissonova rozdělení Skbkekas 2010-02-10 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Poisson_cdf.svg
  4. 4.0 4.1 4.2 4.3 4.4 NÁHODNÁ VELIČINA Vysoká škola báňská - Technická univerzita Ostrava - VŠB-TUO [online]. [cit. 2016-06-08]. Dostupné z: hhttps://homen.vsb.cz/~oti73/cdpast1/KAP03/PRAV3.HTM
  5. Hustota pravděpodobnosti spojitého Normálního rozdělení Inductiveload 2008-04-02 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Normal_Distribution_PDF.svg
  6. Distribuční funkce spojitého Normálního rozdělení Inductiveload 2008-04-02 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Normal_Distribution_PDF.svg
  7. Rozdělení závodníků podle věku a hmotnosti AC Sparta Praha Judo [online]. [cit. 2016-06-05]. Dostupné z: http://www.sparta-judo.cz/judo-jako-sport/vekove-a-vahove-kategorie/
  8. Zákon velkých čísel - hody kostkou NYKevin 2010-01-31 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Largenumbers.svg
  9. Podobnost rozdělení - Centrální limitní věta Chen-Pan Liao 2014-11-15 [online]. [cit. 2016-06-08]. Dostupné z: https://commons.wikimedia.org/wiki/File:Central_theorem_2.svg
  10. Law of large numbers encyclopediaofmath.org [online]. [cit. 2016-06-05]. Dostupné z: https://www.encyclopediaofmath.org/index.php/Law_of_large_numbers
  11. Central Limit Theorem Robert D. Klauber 2015-06-07 [online]. [cit. 2016-06-09]. Dostupné z: http://www.quantumfieldtheory.info/CentralLimitTheorem.pdf
  12. 12.00 12.01 12.02 12.03 12.04 12.05 12.06 12.07 12.08 12.09 12.10 12.11 12.12 12.13 12.14 12.15 12.16 12.17 Variance Reduction Techniques Technische Universiteit Eindhoven University of Technology [online]. [cit. 2016-06-07]. Dostupné z: http://www.win.tue.nl/~resing/2S540/week6.pdf
  13. Wiley Encyclopedia of Operations Research and Management Science S. Foss 2001 [cit. 2016-06-09]. ISBN: 9780470400531
  14. Simulační metody při hodnocení cenných papírů Mgr. Michal Tvrdík 2007-09-20 [online]. [cit. 2016-06-05]. Dostupné z: https://is.cuni.cz/webapps/zzp/detail/46348/