<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="en">
	<id>http://www.simulace.info/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Dmitry+Borodin</id>
	<title>Simulace.info - User contributions [en]</title>
	<link rel="self" type="application/atom+xml" href="http://www.simulace.info/api.php?action=feedcontributions&amp;feedformat=atom&amp;user=Dmitry+Borodin"/>
	<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php/Special:Contributions/Dmitry_Borodin"/>
	<updated>2026-07-27T14:42:29Z</updated>
	<subtitle>User contributions</subtitle>
	<generator>MediaWiki 1.31.1</generator>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Vysledky2DimBo.PNG&amp;diff=19858</id>
		<title>File:Vysledky2DimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Vysledky2DimBo.PNG&amp;diff=19858"/>
		<updated>2020-06-14T22:08:31Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: Dmitry Borodin načetl novou verzi File:Vysledky2DimBo.PNG&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19857</id>
		<title>User:Dmitry Borodin</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19857"/>
		<updated>2020-06-14T22:03:05Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}}&lt;br /&gt;
= Zadání =&lt;br /&gt;
'''Název simulace''': Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Bc. Dmitry Borodin, bord00&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': [http://simprocess.com SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
= Definice problému =&lt;br /&gt;
Nejen lidé, ale i zvířátka občas potřebuji lékařskou pomoc. Avšak je velice důležité správně optimalizovat chod veterinářských klinik. Takové opatření může nejen příznivě ovlivnit finanční stránku podniků (ušetřené peníze mohou pomoct v modernizaci celé firmy a zvýšení kvalifikací pracovníků), ale i omezit počet smutných situací, kdy zvířátko nedostalo pomoc včas. &lt;br /&gt;
&lt;br /&gt;
Předmětem této simulaci je veterinární klinika s nepřetržitým provozem. Základem jsou reálná data z existující kliniky. Bohužel model bude mít některá omezení a nepřesnosti. Důvody k tomu jsou různé. Určitě se nedá stoprocentně zachytit reální stav části světa, vždy budou výjimky a kompromisy. Také bude mít vliv kvalita dat a omezení ze strany SW. Detailnějšímu popisu modelu a omezením bude věnována podkapitola “Detailní popis modelu”.&lt;br /&gt;
Hlavním cílem je namodelovat provoz kliniky a odpověď, zda existující počet zaměstnanců je vhodný. Kromě toho, vynasnažím se zjistit optimální vytížení zaměstnanců, najít způsoby snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejít po určité době čekání. Je potřeba zmínit, že původní zadaní se trochu liší od finálního. Konkrétnější popis bude dál.&lt;br /&gt;
= Metoda =  &lt;br /&gt;
Model byl vytvořen pomocí softwaru [http://simprocess.com SIMPROCESS], ve kterém lze dobře simulovat procesy, nastavovat zdroje a entity, dobře rozdělovat časové intervaly. SW také poskytuje podrobný výsledek simulace.&lt;br /&gt;
= Detailní popis modelu =&lt;br /&gt;
První věc, kterou je potřeba upřesnit – otevírací doba a časový úsek, který bude nasimulován. Klinika je otevřená nonstop, simulace bude pokrývat 1 měsíc (30 dny). Začátkem je 9 hodin 01.06.2020, konec – 9 hodin 01.07.2020. Důvodem vyberu tohoto času (9 hodin ráno) je ukončení práce noční směny a začátek pro denní směnu.&lt;br /&gt;
&lt;br /&gt;
Jedno z omezení/zjednodušení se právě tyká směn. V této simulaci neberu v úvahu jejích rozdělení, přesný čas začátku a ukončení práce. Bude nastaveno jen to, že od pondělí 9:00 do soboty 9:00 na klinice vždy budou 4 veterináře a 4 asistenty. Důvodem je to, že jednotlivé směny velice často se domlouvají mezi sebou, kdo, jak dlouho a kdy bude pracovat. Tuto skutečnost, bohužel, nejde zachytit. &lt;br /&gt;
&lt;br /&gt;
Důvod, proč i v noci zůstávají až 8 pracovníků, je ten, že je to jediná klinika, která je otevřena v noci (v celím městě). Proto pracovníky “přebírají” klienty od ostatních klinik.&lt;br /&gt;
Entity jsou následující:&lt;br /&gt;
* Nový pacient&lt;br /&gt;
* Stálý pacient&lt;br /&gt;
* Pacient v kritickém stavu &lt;br /&gt;
&lt;br /&gt;
Zdroje:&lt;br /&gt;
* Veterinář (4)&lt;br /&gt;
* Asistent (4)&lt;br /&gt;
* Pracovní místo (5)&lt;br /&gt;
&lt;br /&gt;
Zde je jedná z hlavních změn oproti původnímu zadaní.  V průběhu simulovaní, vzhledem k cílům práce a k složitostí modelu, musel jsem tyto změny provést.&lt;br /&gt;
&lt;br /&gt;
Následující obrázek ukazuje hlavní procesy. Dále procesy budou postupně rozepsány.&lt;br /&gt;
&lt;br /&gt;
[[File:ProcesyDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
První proces (Příchod) obsahuje generování všech typů entit. Toto rozdělení je nutné pro správnou simulaci procesu registrace, diagnostiky a léčby (zejména v případě nového a stálého pacienta). Pacient, který je v kritickém stavu mine procesy registrace a ošetření. &lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: kritický stav označuje závažný problém, který je nutné řešit co nejdříve a který vyžaduje víc zdrojů.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:PrichodDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Následující tabulka ukazuje jednotlivé generátory s rozdělením (cílová buňka obsahuje data ve formátu počet ; interval v minutách):&lt;br /&gt;
&lt;br /&gt;
[[File:RozdeleniDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: snížení počtu pacientů o víkendu pravděpodobně způsobeno odježděním mimo města, věnováním volného času jiném činnostem.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Další obrázek ukazuje proces registrace a diagnózy (v případě nového pacienta):&lt;br /&gt;
&lt;br /&gt;
[[File:RegistraceDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Rozdělení je realizováno pomocí “Select Branch Type = Entity Type”. Pacient v kritickém stavu hned pokračuje k léčbě, stálý pacient ztratí 2 minuty (předpoklad je ten, že jíž klinika má údaje, RTG snímek a další vyšetření). Nový pacient ztratí 5 minut na registraci a ještě 10 minut na diagnózu. Proces diagnózy vyžaduje přítomnost veterináře nebo asistenta (to je další zjednodušení, většinou tady zaleží na konkrétní službě). &lt;br /&gt;
&lt;br /&gt;
Poslední proces (odchod jen znamená „dispose”) je nejzajímavější:  &lt;br /&gt;
&lt;br /&gt;
[[File:LecbaDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Znovu zde je rozdělení podle typu pacienta. Následující tabulky znázorňují informace pro každou entitu:&lt;br /&gt;
&lt;br /&gt;
[[File:EntityPravdepodobnostDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v případě nového pacienta je potřeba věnovat nic pozornosti, také to vyžaduje víc odpovědnosti. Proto asistent nemůže provádět léčbu nových pacientu (bez ohledu na výsledky diagnózy).&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
U stálých pacientů asistent může sám provádět neriskantní a neinvazivní činnosti nebo jen sdílet výsledky léčby atd.&lt;br /&gt;
Musím také zmínit, že pro každý “delay” byla určená doba čekaní na zdroje. Jelikož klinika je nonstop a simulace se začíná z určitého okamžiku, bylo nastaveno “Warmup Time” 2 hodiny.   &lt;br /&gt;
= Výsledky =&lt;br /&gt;
Následující tabulky znázorňují některé údaje:&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky1DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v systému zůstalo 5 nových pacientů a 1 stálý. Může to být způsobeno kvalitou dat nebo chybou v realizaci.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky2DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Textové soubory s výsledky jsou tady - [[File:Vysledky - Dmitry Borodin.rar]]&lt;br /&gt;
&lt;br /&gt;
= Závěr =&lt;br /&gt;
Práce nad simulaci byla velice zajímavá a přínosná. Avšak jedním z hlavních problémů byl nedostatek znalosti z oboru. Simprocess (zejména licence-demonstrativní verze) občas také přinášel problémy a potřebu hledat jiné řešení. Tato simulace je dost daleko od ideálu a existuje obrovský prostor pro nové myšlenky a zlepšení.  &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
= Kód =&lt;br /&gt;
[[File:Simulace provozu veterinární kliniky - Dmitry Borodin.spm]]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19856</id>
		<title>User:Dmitry Borodin</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19856"/>
		<updated>2020-06-14T22:02:41Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}}&lt;br /&gt;
= Zadání =&lt;br /&gt;
'''Název simulace''': Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Bc. Dmitry Borodin, bord00&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': [http://simprocess.com SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
= Definice problému =&lt;br /&gt;
Nejen lidé, ale i zvířátka občas potřebuji lékařskou pomoc. Avšak je velice důležité správně optimalizovat chod veterinářských klinik. Takové opatření může nejen příznivě ovlivnit finanční stránku podniků (ušetřené peníze mohou pomoct v modernizaci celé firmy a zvýšení kvalifikací pracovníků), ale i omezit počet smutných situací, kdy zvířátko nedostalo pomoc včas. &lt;br /&gt;
&lt;br /&gt;
Předmětem této simulaci je veterinární klinika s nepřetržitým provozem. Základem jsou reálná data z existující kliniky. Bohužel model bude mít některá omezení a nepřesnosti. Důvody k tomu jsou různé. Určitě se nedá stoprocentně zachytit reální stav části světa, vždy budou výjimky a kompromisy. Také bude mít vliv kvalita dat a omezení ze strany SW. Detailnějšímu popisu modelu a omezením bude věnována podkapitola “Detailní popis modelu”.&lt;br /&gt;
Hlavním cílem je namodelovat provoz kliniky a odpověď, zda existující počet zaměstnanců je vhodný. Kromě toho, vynasnažím se zjistit optimální vytížení zaměstnanců, najít způsoby snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejít po určité době čekání. Je potřeba zmínit, že původní zadaní se trochu liší od finálního. Konkrétnější popis bude dál.&lt;br /&gt;
= Metoda =  &lt;br /&gt;
Model byl vytvořen pomocí softwaru [http://simprocess.com SIMPROCESS], ve kterém lze dobře simulovat procesy, nastavovat zdroje a entity, dobře rozdělovat časové intervaly. SW také poskytuje podrobný výsledek simulace.&lt;br /&gt;
= Detailní popis modelu =&lt;br /&gt;
První věc, kterou je potřeba upřesnit – otevírací doba a časový úsek, který bude nasimulován. Klinika je otevřená nonstop, simulace bude pokrývat 1 měsíc (30 dny). Začátkem je 9 hodin 01.06.2020, konec – 9 hodin 01.07.2020. Důvodem vyberu tohoto času (9 hodin ráno) je ukončení práce noční směny a začátek pro denní směnu.&lt;br /&gt;
&lt;br /&gt;
Jedno z omezení/zjednodušení se právě tyká směn. V této simulaci neberu v úvahu jejích rozdělení, přesný čas začátku a ukončení práce. Bude nastaveno jen to, že od pondělí 9:00 do soboty 9:00 na klinice vždy budou 4 veterináře a 4 asistenty. Důvodem je to, že jednotlivé směny velice často se domlouvají mezi sebou, kdo, jak dlouho a kdy bude pracovat. Tuto skutečnost, bohužel, nejde zachytit. &lt;br /&gt;
&lt;br /&gt;
Důvod, proč i v noci zůstávají až 8 pracovníků, je ten, že je to jediná klinika, která je otevřena v noci (v celím městě). Proto pracovníky “přebírají” klienty od ostatních klinik.&lt;br /&gt;
Entity jsou následující:&lt;br /&gt;
* Nový pacient&lt;br /&gt;
* Stálý pacient&lt;br /&gt;
* Pacient v kritickém stavu &lt;br /&gt;
&lt;br /&gt;
Zdroje:&lt;br /&gt;
* Veterinář (4)&lt;br /&gt;
* Asistent (4)&lt;br /&gt;
* Pracovní místo (5)&lt;br /&gt;
&lt;br /&gt;
Zde je jedná z hlavních změn oproti původnímu zadaní.  V průběhu simulovaní, vzhledem k cílům práce a k složitostí modelu, musel jsem tyto změny provést.&lt;br /&gt;
&lt;br /&gt;
Následující obrázek ukazuje hlavní procesy. Dále procesy budou postupně rozepsány.&lt;br /&gt;
&lt;br /&gt;
[[File:ProcesyDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
První proces (Příchod) obsahuje generování všech typů entit. Toto rozdělení je nutné pro správnou simulaci procesu registrace, diagnostiky a léčby (zejména v případě nového a stálého pacienta). Pacient, který je v kritickém stavu mine procesy registrace a ošetření. &lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: kritický stav označuje závažný problém, který je nutné řešit co nejdříve a který vyžaduje víc zdrojů.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:PrichodDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Následující tabulka ukazuje jednotlivé generátory s rozdělením (cílová buňka obsahuje data ve formátu počet ; interval v minutách):&lt;br /&gt;
&lt;br /&gt;
[[File:RozdeleniDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: snížení počtu pacientů o víkendu pravděpodobně způsobeno odježděním mimo města, věnováním volného času jiném činnostem.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Další obrázek ukazuje proces registrace a diagnózy (v případě nového pacienta):&lt;br /&gt;
&lt;br /&gt;
[[File:RegistraceDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Rozdělení je realizováno pomocí “Select Branch Type = Entity Type”. Pacient v kritickém stavu hned pokračuje k léčbě, stálý pacient ztratí 2 minuty (předpoklad je ten, že jíž klinika má údaje, RTG snímek a další vyšetření). Nový pacient ztratí 5 minut na registraci a ještě 10 minut na diagnózu. Proces diagnózy vyžaduje přítomnost veterináře nebo asistenta (to je další zjednodušení, většinou tady zaleží na konkrétní službě). &lt;br /&gt;
&lt;br /&gt;
Poslední proces (odchod jen znamená „dispose”) je nejzajímavější:  &lt;br /&gt;
&lt;br /&gt;
[[File:LecbaDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Znovu zde je rozdělení podle typu pacienta. Následující tabulky znázorňují informace pro každou entitu:&lt;br /&gt;
&lt;br /&gt;
[[File:EntityPravdepodobnostDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v případě nového pacienta je potřeba věnovat nic pozornosti, také to vyžaduje víc odpovědnosti. Proto asistent nemůže provádět léčbu nových pacientu (bez ohledu na výsledky diagnózy).&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
U stálých pacientů asistent může sám provádět neriskantní a neinvazivní činnosti nebo jen sdílet výsledky léčby atd.&lt;br /&gt;
Musím také zmínit, že pro každý “delay” byla určená doba čekaní na zdroje. Jelikož klinika je nonstop a simulace se začíná z určitého okamžiku, bylo nastaveno “Warmup Time” 2 hodiny.   &lt;br /&gt;
= Výsledky =&lt;br /&gt;
Následující tabulky znázorňují některé údaje:&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky1DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v systému zůstalo 5 nových pacientů a 1 stálý. Může to být způsobeno kvalitou dat nebo chybou v realizaci.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky2DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Textové soubory s výsledky jsou tady - [[File:Vysledky - Dmitry Borodin.rar]]&lt;br /&gt;
&lt;br /&gt;
== Závěr ==&lt;br /&gt;
Práce nad simulaci byla velice zajímavá a přínosná. Avšak jedním z hlavních problémů byl nedostatek znalosti z oboru. Simprocess (zejména licence-demonstrativní verze) občas také přinášel problémy a potřebu hledat jiné řešení. Tato simulace je dost daleko od ideálu a existuje obrovský prostor pro nové myšlenky a zlepšení.  &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
= Kód =&lt;br /&gt;
[[File:Simulace provozu veterinární kliniky - Dmitry Borodin.spm]]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19855</id>
		<title>User:Dmitry Borodin</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19855"/>
		<updated>2020-06-14T22:01:20Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}}&lt;br /&gt;
= Zadání =&lt;br /&gt;
'''Název simulace''': Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Bc. Dmitry Borodin, bord00&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': [http://simprocess.com SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
= Definice problému =&lt;br /&gt;
Nejen lidé, ale i zvířátka občas potřebuji lékařskou pomoc. Avšak je velice důležité správně optimalizovat chod veterinářských klinik. Takové opatření může nejen příznivě ovlivnit finanční stránku podniků (ušetřené peníze mohou pomoct v modernizaci celé firmy a zvýšení kvalifikací pracovníků), ale i omezit počet smutných situací, kdy zvířátko nedostalo pomoc včas. &lt;br /&gt;
&lt;br /&gt;
Předmětem této simulaci je veterinární klinika s nepřetržitým provozem. Základem jsou reálná data z existující kliniky. Bohužel model bude mít některá omezení a nepřesnosti. Důvody k tomu jsou různé. Určitě se nedá stoprocentně zachytit reální stav části světa, vždy budou výjimky a kompromisy. Také bude mít vliv kvalita dat a omezení ze strany SW. Detailnějšímu popisu modelu a omezením bude věnována podkapitola “Detailní popis modelu”.&lt;br /&gt;
Hlavním cílem je namodelovat provoz kliniky a odpověď, zda existující počet zaměstnanců je vhodný. Kromě toho, vynasnažím se zjistit optimální vytížení zaměstnanců, najít způsoby snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejít po určité době čekání. Je potřeba zmínit, že původní zadaní se trochu liší od finálního. Konkrétnější popis bude dál.&lt;br /&gt;
= Metoda =  &lt;br /&gt;
Model byl vytvořen pomocí softwaru [http://simprocess.com SIMPROCESS], ve kterém lze dobře simulovat procesy, nastavovat zdroje a entity, dobře rozdělovat časové intervaly. SW také poskytuje podrobný výsledek simulace.&lt;br /&gt;
= Detailní popis modelu =&lt;br /&gt;
První věc, kterou je potřeba upřesnit – otevírací doba a časový úsek, který bude nasimulován. Klinika je otevřená nonstop, simulace bude pokrývat 1 měsíc (30 dny). Začátkem je 9 hodin 01.06.2020, konec – 9 hodin 01.07.2020. Důvodem vyberu tohoto času (9 hodin ráno) je ukončení práce noční směny a začátek pro denní směnu.&lt;br /&gt;
&lt;br /&gt;
Jedno z omezení/zjednodušení se právě tyká směn. V této simulaci neberu v úvahu jejích rozdělení, přesný čas začátku a ukončení práce. Bude nastaveno jen to, že od pondělí 9:00 do soboty 9:00 na klinice vždy budou 4 veterináře a 4 asistenty. Důvodem je to, že jednotlivé směny velice často se domlouvají mezi sebou, kdo, jak dlouho a kdy bude pracovat. Tuto skutečnost, bohužel, nejde zachytit. &lt;br /&gt;
&lt;br /&gt;
Důvod, proč i v noci zůstávají až 8 pracovníků, je ten, že je to jediná klinika, která je otevřena v noci (v celím městě). Proto pracovníky “přebírají” klienty od ostatních klinik.&lt;br /&gt;
Entity jsou následující:&lt;br /&gt;
* Nový pacient&lt;br /&gt;
* Stálý pacient&lt;br /&gt;
* Pacient v kritickém stavu &lt;br /&gt;
&lt;br /&gt;
Zdroje:&lt;br /&gt;
* Veterinář (4)&lt;br /&gt;
* Asistent (4)&lt;br /&gt;
* Pracovní místo (5)&lt;br /&gt;
&lt;br /&gt;
Zde je jedná z hlavních změn oproti původnímu zadaní.  V průběhu simulovaní, vzhledem k cílům práce a k složitostí modelu, musel jsem tyto změny provést.&lt;br /&gt;
&lt;br /&gt;
Následující obrázek ukazuje hlavní procesy. Dále procesy budou postupně rozepsány.&lt;br /&gt;
&lt;br /&gt;
[[File:ProcesyDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
První proces (Příchod) obsahuje generování všech typů entit. Toto rozdělení je nutné pro správnou simulaci procesu registrace, diagnostiky a léčby (zejména v případě nového a stálého pacienta). Pacient, který je v kritickém stavu mine procesy registrace a ošetření. &lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: kritický stav označuje závažný problém, který je nutné řešit co nejdříve a který vyžaduje víc zdrojů.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:PrichodDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Následující tabulka ukazuje jednotlivé generátory s rozdělením (cílová buňka obsahuje data ve formátu počet ; interval v minutách):&lt;br /&gt;
&lt;br /&gt;
[[File:RozdeleniDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: snížení počtu pacientů o víkendu pravděpodobně způsobeno odježděním mimo města, věnováním volného času jiném činnostem.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Další obrázek ukazuje proces registrace a diagnózy (v případě nového pacienta):&lt;br /&gt;
&lt;br /&gt;
[[File:RegistraceDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Rozdělení je realizováno pomocí “Select Branch Type = Entity Type”. Pacient v kritickém stavu hned pokračuje k léčbě, stálý pacient ztratí 2 minuty (předpoklad je ten, že jíž klinika má údaje, RTG snímek a další vyšetření). Nový pacient ztratí 5 minut na registraci a ještě 10 minut na diagnózu. Proces diagnózy vyžaduje přítomnost veterináře nebo asistenta (to je další zjednodušení, většinou tady zaleží na konkrétní službě). &lt;br /&gt;
&lt;br /&gt;
Poslední proces (odchod jen znamená „dispose”) je nejzajímavější:  &lt;br /&gt;
&lt;br /&gt;
[[File:LecbaDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Znovu zde je rozdělení podle typu pacienta. Následující tabulky znázorňují informace pro každou entitu:&lt;br /&gt;
&lt;br /&gt;
[[File:EntityPravdepodobnostDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v případě nového pacienta je potřeba věnovat nic pozornosti, také to vyžaduje víc odpovědnosti. Proto asistent nemůže provádět léčbu nových pacientu (bez ohledu na výsledky diagnózy).&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
U stálých pacientů asistent může sám provádět neriskantní a neinvazivní činnosti nebo jen sdílet výsledky léčby atd.&lt;br /&gt;
Musím také zmínit, že pro každý “delay” byla určená doba čekaní na zdroje. Jelikož klinika je nonstop a simulace se začíná z určitého okamžiku, bylo nastaveno “Warmup Time” 2 hodiny.   &lt;br /&gt;
= Výsledky =&lt;br /&gt;
Následující tabulky znázorňují některé údaje:&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky1DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v systému zůstalo 5 nových pacientů a 1 stálý. Může to být způsobeno kvalitou dat nebo chybou v realizaci.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky2DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Textové soubory s výsledky jsou tady - [[File:Vysledky - Dmitry Borodin.rar]]&lt;br /&gt;
&lt;br /&gt;
= Kód =&lt;br /&gt;
[[File:Simulace provozu veterinární kliniky - Dmitry Borodin.spm]]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Simulace_provozu_veterin%C3%A1rn%C3%AD_kliniky_-_Dmitry_Borodin.spm&amp;diff=19854</id>
		<title>File:Simulace provozu veterinární kliniky - Dmitry Borodin.spm</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Simulace_provozu_veterin%C3%A1rn%C3%AD_kliniky_-_Dmitry_Borodin.spm&amp;diff=19854"/>
		<updated>2020-06-14T22:00:58Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19853</id>
		<title>User:Dmitry Borodin</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19853"/>
		<updated>2020-06-14T21:57:24Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}}&lt;br /&gt;
= Zadání =&lt;br /&gt;
'''Název simulace''': Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Bc. Dmitry Borodin, bord00&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': [http://simprocess.com SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
= Definice problému =&lt;br /&gt;
Nejen lidé, ale i zvířátka občas potřebuji lékařskou pomoc. Avšak je velice důležité správně optimalizovat chod veterinářských klinik. Takové opatření může nejen příznivě ovlivnit finanční stránku podniků (ušetřené peníze mohou pomoct v modernizaci celé firmy a zvýšení kvalifikací pracovníků), ale i omezit počet smutných situací, kdy zvířátko nedostalo pomoc včas. &lt;br /&gt;
&lt;br /&gt;
Předmětem této simulaci je veterinární klinika s nepřetržitým provozem. Základem jsou reálná data z existující kliniky. Bohužel model bude mít některá omezení a nepřesnosti. Důvody k tomu jsou různé. Určitě se nedá stoprocentně zachytit reální stav části světa, vždy budou výjimky a kompromisy. Také bude mít vliv kvalita dat a omezení ze strany SW. Detailnějšímu popisu modelu a omezením bude věnována podkapitola “Detailní popis modelu”.&lt;br /&gt;
Hlavním cílem je namodelovat provoz kliniky a odpověď, zda existující počet zaměstnanců je vhodný. Kromě toho, vynasnažím se zjistit optimální vytížení zaměstnanců, najít způsoby snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejít po určité době čekání. Je potřeba zmínit, že původní zadaní se trochu liší od finálního. Konkrétnější popis bude dál.&lt;br /&gt;
= Metoda =  &lt;br /&gt;
Model byl vytvořen pomocí softwaru [http://simprocess.com SIMPROCESS], ve kterém lze dobře simulovat procesy, nastavovat zdroje a entity, dobře rozdělovat časové intervaly. SW také poskytuje podrobný výsledek simulace.&lt;br /&gt;
= Detailní popis modelu =&lt;br /&gt;
První věc, kterou je potřeba upřesnit – otevírací doba a časový úsek, který bude nasimulován. Klinika je otevřená nonstop, simulace bude pokrývat 1 měsíc (30 dny). Začátkem je 9 hodin 01.06.2020, konec – 9 hodin 01.07.2020. Důvodem vyberu tohoto času (9 hodin ráno) je ukončení práce noční směny a začátek pro denní směnu.&lt;br /&gt;
&lt;br /&gt;
Jedno z omezení/zjednodušení se právě tyká směn. V této simulaci neberu v úvahu jejích rozdělení, přesný čas začátku a ukončení práce. Bude nastaveno jen to, že od pondělí 9:00 do soboty 9:00 na klinice vždy budou 4 veterináře a 4 asistenty. Důvodem je to, že jednotlivé směny velice často se domlouvají mezi sebou, kdo, jak dlouho a kdy bude pracovat. Tuto skutečnost, bohužel, nejde zachytit. &lt;br /&gt;
&lt;br /&gt;
Důvod, proč i v noci zůstávají až 8 pracovníků, je ten, že je to jediná klinika, která je otevřena v noci (v celím městě). Proto pracovníky “přebírají” klienty od ostatních klinik.&lt;br /&gt;
Entity jsou následující:&lt;br /&gt;
* Nový pacient&lt;br /&gt;
* Stálý pacient&lt;br /&gt;
* Pacient v kritickém stavu &lt;br /&gt;
&lt;br /&gt;
Zdroje:&lt;br /&gt;
* Veterinář (4)&lt;br /&gt;
* Asistent (4)&lt;br /&gt;
* Pracovní místo (5)&lt;br /&gt;
&lt;br /&gt;
Zde je jedná z hlavních změn oproti původnímu zadaní.  V průběhu simulovaní, vzhledem k cílům práce a k složitostí modelu, musel jsem tyto změny provést.&lt;br /&gt;
&lt;br /&gt;
Následující obrázek ukazuje hlavní procesy. Dále procesy budou postupně rozepsány.&lt;br /&gt;
&lt;br /&gt;
[[File:ProcesyDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
První proces (Příchod) obsahuje generování všech typů entit. Toto rozdělení je nutné pro správnou simulaci procesu registrace, diagnostiky a léčby (zejména v případě nového a stálého pacienta). Pacient, který je v kritickém stavu mine procesy registrace a ošetření. &lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: kritický stav označuje závažný problém, který je nutné řešit co nejdříve a který vyžaduje víc zdrojů.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:PrichodDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Následující tabulka ukazuje jednotlivé generátory s rozdělením (cílová buňka obsahuje data ve formátu počet ; interval v minutách):&lt;br /&gt;
[[File:RozdeleniDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: snížení počtu pacientů o víkendu pravděpodobně způsobeno odježděním mimo města, věnováním volného času jiném činnostem.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Další obrázek ukazuje proces registrace a diagnózy (v případě nového pacienta):&lt;br /&gt;
&lt;br /&gt;
[[File:RegistraceDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Rozdělení je realizováno pomocí “Select Branch Type = Entity Type”. Pacient v kritickém stavu hned pokračuje k léčbě, stálý pacient ztratí 2 minuty (předpoklad je ten, že jíž klinika má údaje, RTG snímek a další vyšetření). Nový pacient ztratí 5 minut na registraci a ještě 10 minut na diagnózu. Proces diagnózy vyžaduje přítomnost veterináře nebo asistenta (to je další zjednodušení, většinou tady zaleží na konkrétní službě). &lt;br /&gt;
&lt;br /&gt;
Poslední proces (odchod jen znamená „dispose”) je nejzajímavější:  &lt;br /&gt;
&lt;br /&gt;
[[File:LecbaDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Znovu zde je rozdělení podle typu pacienta. Následující tabulky znázorňují informace pro každou entitu:&lt;br /&gt;
&lt;br /&gt;
[[File:EntityPravdepodobnostDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v případě nového pacienta je potřeba věnovat nic pozornosti, také to vyžaduje víc odpovědnosti. Proto asistent nemůže provádět léčbu nových pacientu (bez ohledu na výsledky diagnózy).&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
U stálých pacientů asistent může sám provádět neriskantní a neinvazivní činnosti nebo jen sdílet výsledky léčby atd.&lt;br /&gt;
Musím také zmínit, že pro každý “delay” byla určená doba čekaní na zdroje. Jelikož klinika je nonstop a simulace se začíná z určitého okamžiku, bylo nastaveno “Warmup Time” 2 hodiny.   &lt;br /&gt;
= Výsledky =&lt;br /&gt;
Následující tabulky znázorňují některé údaje:&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky1DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v systému zůstalo 5 nových pacientů a 1 stálý. Může to být způsobeno kvalitou dat nebo chybou v realizaci.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky2DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Textový soubor s výsledky jednoho běhu je zde. Průměr 10 běhu je zde.&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=SS_2019/2020/cs&amp;diff=19852</id>
		<title>SS 2019/2020/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=SS_2019/2020/cs&amp;diff=19852"/>
		<updated>2020-06-14T21:56:48Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:LS 2019/2020}}&lt;br /&gt;
&lt;br /&gt;
Semestrální práce (simulace) z letního semestru 2019/2020. Sem přidejte odkaz na stránku s Vaší prací.&lt;br /&gt;
Nejprve je třeba nechat schválit [[Assignment SS 2019/2020/cs|zadání práce]].&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=Vypracovaná témata LS 2019/2020=&lt;br /&gt;
* [http://www.simulace.info/index.php/User:Zurp00 Analýza dopravy cestujících na Letiště Václava Havla pro optimalizaci při zavedení metra (Simprocess)] - Polina Luneva&lt;br /&gt;
* [http://www.simulace.info/index.php/Degenerace_p%C5%99i_chovu_Australsk%C3%BDch_ov%C4%8D%C3%A1k%C5%AF_(AUO) Degenerace při chovu Australských ovčáků (AUO) (Netlogo)] - Michaela Herianová&lt;br /&gt;
* [http://www.simulace.info/index.php/Nalezen%C3%AD_nejlep%C5%A1%C3%AD_strategie_%C5%99idi%C4%8D%C5%AF_Taxi Nalezení nejlepší strategie řidičů Taxi (Netlogo)] - Libor Zíka&lt;br /&gt;
* [http://www.simulace.info/index.php/User:Bacj04 Simulácia zberu jahôd (Netlogo)] - Juraj Bačovčin&lt;br /&gt;
* [http://www.simulace.info/index.php/User:Plev00 Růst populace EU v nadcházejících letech (Vensim)] - Václav Pleskač '''Nedokončné'''&lt;br /&gt;
* [http://www.simulace.info/index.php/User:Simn00 Vývoj nezaměstnanosti v ČR (Vensim)] - Nikol Šímová '''Nedokončené'''&lt;br /&gt;
* [http://www.simulace.info/index.php/User:Dmitry_Borodin Simulace provozu veterinární kliniky (Simprocess)] - Dmitry Borodin&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19851</id>
		<title>User:Dmitry Borodin</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=User:Dmitry_Borodin&amp;diff=19851"/>
		<updated>2020-06-14T21:55:56Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: Created page with &amp;quot;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}} = Zadání = '''Název simulace''': Simulace provozu veterinární kliniky  '''Autor''': Bc. Dmitry Borodi...&amp;quot;&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Simulace provozu veterinární kliniky (Simprocess)}}&lt;br /&gt;
= Zadání =&lt;br /&gt;
'''Název simulace''': Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Bc. Dmitry Borodin, bord00&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': [http://simprocess.com SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
= Definice problému =&lt;br /&gt;
Nejen lidé, ale i zvířátka občas potřebuji lékařskou pomoc. Avšak je velice důležité správně optimalizovat chod veterinářských klinik. Takové opatření může nejen příznivě ovlivnit finanční stránku podniků (ušetřené peníze mohou pomoct v modernizaci celé firmy a zvýšení kvalifikací pracovníků), ale i omezit počet smutných situací, kdy zvířátko nedostalo pomoc včas. &lt;br /&gt;
&lt;br /&gt;
Předmětem této simulaci je veterinární klinika s nepřetržitým provozem. Základem jsou reálná data z existující kliniky. Bohužel model bude mít některá omezení a nepřesnosti. Důvody k tomu jsou různé. Určitě se nedá stoprocentně zachytit reální stav části světa, vždy budou výjimky a kompromisy. Také bude mít vliv kvalita dat a omezení ze strany SW. Detailnějšímu popisu modelu a omezením bude věnována podkapitola “Detailní popis modelu”.&lt;br /&gt;
Hlavním cílem je namodelovat provoz kliniky a odpověď, zda existující počet zaměstnanců je vhodný. Kromě toho, vynasnažím se zjistit optimální vytížení zaměstnanců, najít způsoby snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejít po určité době čekání. Je potřeba zmínit, že původní zadaní se trochu liší od finálního. Konkrétnější popis bude dál.&lt;br /&gt;
= Metoda =  &lt;br /&gt;
Model byl vytvořen pomocí softwaru [http://simprocess.com SIMPROCESS], ve kterém lze dobře simulovat procesy, nastavovat zdroje a entity, dobře rozdělovat časové intervaly. SW také poskytuje podrobný výsledek simulace.&lt;br /&gt;
= Detailní popis modelu =&lt;br /&gt;
První věc, kterou je potřeba upřesnit – otevírací doba a časový úsek, který bude nasimulován. Klinika je otevřená nonstop, simulace bude pokrývat 1 měsíc (30 dny). Začátkem je 9 hodin 01.06.2020, konec – 9 hodin 01.07.2020. Důvodem vyberu tohoto času (9 hodin ráno) je ukončení práce noční směny a začátek pro denní směnu.&lt;br /&gt;
&lt;br /&gt;
Jedno z omezení/zjednodušení se právě tyká směn. V této simulaci neberu v úvahu jejích rozdělení, přesný čas začátku a ukončení práce. Bude nastaveno jen to, že od pondělí 9:00 do soboty 9:00 na klinice vždy budou 4 veterináře a 4 asistenty. Důvodem je to, že jednotlivé směny velice často se domlouvají mezi sebou, kdo, jak dlouho a kdy bude pracovat. Tuto skutečnost, bohužel, nejde zachytit. &lt;br /&gt;
&lt;br /&gt;
Důvod, proč i v noci zůstávají až 8 pracovníků, je ten, že je to jediná klinika, která je otevřena v noci (v celím městě). Proto pracovníky “přebírají” klienty od ostatních klinik.&lt;br /&gt;
Entity jsou následující:&lt;br /&gt;
* Nový pacient&lt;br /&gt;
* Stálý pacient&lt;br /&gt;
* Pacient v kritickém stavu &lt;br /&gt;
&lt;br /&gt;
Zdroje:&lt;br /&gt;
* Veterinář (4)&lt;br /&gt;
* Asistent (4)&lt;br /&gt;
* Pracovní místo (5)&lt;br /&gt;
&lt;br /&gt;
Zde je jedná z hlavních změn oproti původnímu zadaní.  V průběhu simulovaní, vzhledem k cílům práce a k složitostí modelu, musel jsem tyto změny provést.&lt;br /&gt;
&lt;br /&gt;
Následující obrázek ukazuje hlavní procesy. Dále procesy budou postupně rozepsány.&lt;br /&gt;
[[File:ProcesyDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
První proces (Příchod) obsahuje generování všech typů entit. Toto rozdělení je nutné pro správnou simulaci procesu registrace, diagnostiky a léčby (zejména v případě nového a stálého pacienta). Pacient, který je v kritickém stavu mine procesy registrace a ošetření. &lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: kritický stav označuje závažný problém, který je nutné řešit co nejdříve a který vyžaduje víc zdrojů.&amp;lt;/i&amp;gt;&lt;br /&gt;
[[File:PrichodDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Následující tabulka ukazuje jednotlivé generátory s rozdělením (cílová buňka obsahuje data ve formátu počet ; interval v minutách):&lt;br /&gt;
[[File:RozdeleniDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: snížení počtu pacientů o víkendu pravděpodobně způsobeno odježděním mimo města, věnováním volného času jiném činnostem.&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Další obrázek ukazuje proces registrace a diagnózy (v případě nového pacienta):&lt;br /&gt;
[[File:RegistraceDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Rozdělení je realizováno pomocí “Select Branch Type = Entity Type”. Pacient v kritickém stavu hned pokračuje k léčbě, stálý pacient ztratí 2 minuty (předpoklad je ten, že jíž klinika má údaje, RTG snímek a další vyšetření). Nový pacient ztratí 5 minut na registraci a ještě 10 minut na diagnózu. Proces diagnózy vyžaduje přítomnost veterináře nebo asistenta (to je další zjednodušení, většinou tady zaleží na konkrétní službě). &lt;br /&gt;
&lt;br /&gt;
Poslední proces (odchod jen znamená „dispose”) je nejzajímavější:  &lt;br /&gt;
[[File:LecbaDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Znovu zde je rozdělení podle typu pacienta. Následující tabulky znázorňují informace pro každou entitu:&lt;br /&gt;
[[File:EntityPravdepodobnostDimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v případě nového pacienta je potřeba věnovat nic pozornosti, také to vyžaduje víc odpovědnosti. Proto asistent nemůže provádět léčbu nových pacientu (bez ohledu na výsledky diagnózy).&amp;lt;/i&amp;gt;&lt;br /&gt;
&lt;br /&gt;
U stálých pacientů asistent může sám provádět neriskantní a neinvazivní činnosti nebo jen sdílet výsledky léčby atd.&lt;br /&gt;
Musím také zmínit, že pro každý “delay” byla určená doba čekaní na zdroje. Jelikož klinika je nonstop a simulace se začíná z určitého okamžiku, bylo nastaveno “Warmup Time” 2 hodiny.   &lt;br /&gt;
= Výsledky =&lt;br /&gt;
Následující tabulky znázorňují některé údaje:&lt;br /&gt;
&lt;br /&gt;
[[File:Vysledky1DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;Poznámka: v systému zůstalo 5 nových pacientů a 1 stálý. Může to být způsobeno kvalitou dat nebo chybou v realizaci.&amp;lt;/i&amp;gt;&lt;br /&gt;
[[File:Vysledky2DimBo.PNG]]&lt;br /&gt;
&lt;br /&gt;
Textový soubor s výsledky jednoho běhu je zde. Průměr 10 běhu je zde.&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Vysledky_-_Dmitry_Borodin.rar&amp;diff=19850</id>
		<title>File:Vysledky - Dmitry Borodin.rar</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Vysledky_-_Dmitry_Borodin.rar&amp;diff=19850"/>
		<updated>2020-06-14T21:55:35Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Vysledky2DimBo.PNG&amp;diff=19849</id>
		<title>File:Vysledky2DimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Vysledky2DimBo.PNG&amp;diff=19849"/>
		<updated>2020-06-14T21:52:58Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Vysledky1DimBo.PNG&amp;diff=19848</id>
		<title>File:Vysledky1DimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Vysledky1DimBo.PNG&amp;diff=19848"/>
		<updated>2020-06-14T21:52:12Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:EntityPravdepodobnostDimBo.PNG&amp;diff=19847</id>
		<title>File:EntityPravdepodobnostDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:EntityPravdepodobnostDimBo.PNG&amp;diff=19847"/>
		<updated>2020-06-14T21:51:08Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:LecbaDimBo.PNG&amp;diff=19846</id>
		<title>File:LecbaDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:LecbaDimBo.PNG&amp;diff=19846"/>
		<updated>2020-06-14T21:49:02Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:RegistraceDimBo.PNG&amp;diff=19845</id>
		<title>File:RegistraceDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:RegistraceDimBo.PNG&amp;diff=19845"/>
		<updated>2020-06-14T21:48:16Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:RozdeleniDimBo.PNG&amp;diff=19844</id>
		<title>File:RozdeleniDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:RozdeleniDimBo.PNG&amp;diff=19844"/>
		<updated>2020-06-14T21:46:53Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:PrichodDimBo.PNG&amp;diff=19843</id>
		<title>File:PrichodDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:PrichodDimBo.PNG&amp;diff=19843"/>
		<updated>2020-06-14T21:45:41Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:ProcesyDimBo.PNG&amp;diff=19842</id>
		<title>File:ProcesyDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:ProcesyDimBo.PNG&amp;diff=19842"/>
		<updated>2020-06-14T21:44:48Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19817</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19817"/>
		<updated>2020-06-12T21:09:30Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) [https://cs.wikipedia.org/wiki/Markov%C5%AFv_%C5%99et%C4%9Bzec Markovských řetězců].&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy [https://cs.wikipedia.org/wiki/Dynamick%C3%A9_programov%C3%A1n%C3%AD dynamického programování].&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá [[Agents/cs|agent]]. Agent interaguje s [[Agent environments/cs|prostředím]], ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako [https://cs.wikipedia.org/wiki/Uspo%C5%99%C3%A1dan%C3%A1_n-tice uspořádaná čtveřice] prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
=Aplikace MDP=&lt;br /&gt;
White, D.J. v článku [http://www.it.uu.se/edu/course/homepage/aism/st11/MDPApplications1.pdf Real Applications of Markov Decision Processes] uvádí velký seznam aplikací:&lt;br /&gt;
* Zemědělství: kolik pěstovat na základě počasí a stavu půdy.&lt;br /&gt;
* Vodní zdroje: jak udržovat správnou hladinu vody v nádržích.&lt;br /&gt;
* Kontrola, údržba a opravy: kdy vyměnit/zkontrolovat na základě věku, stavu atd.&lt;br /&gt;
* Nákup a výroba: kolik vyrobit na základě poptávky.&lt;br /&gt;
* Fronty: zkrátit čekací dobu.&lt;br /&gt;
* atd.&lt;br /&gt;
&lt;br /&gt;
Další příklady je možné najít v následujících publikacích: [https://www.minet.uni-jena.de/Marie-Curie-ITN/SMIF/talks/Baeuerle.pdf Markov Decision Processes with Applications to Finance], [https://nlp.stanford.edu/pubs/IS2006_HaveWeMet.pdf Have we met? MDP Based Speaker ID for Robot Dialogue], [https://www.sigdial.org/files/workshops/conference14/proceedings/pdf/SIGDIAL36.pdf Training and evaluation of an MDP model for social multi-user human-robot interaction], [http://proceedings.mlr.press/v23/lim12/lim12.pdf Autonomous Exploration For Navigating In MDPs],&lt;br /&gt;
[https://habrahabr.info/development/programming/1401-the-optimal-game-in-2048-with-the-help-of-the-markov-decision-making-process.html The optimal game in 2048 with the help of the Markov decision-making process]&lt;br /&gt;
&lt;br /&gt;
V rámci tohoto článku bych chtěl uvést dva následující řešení. První příklad je z přednášek, ale má složitější formu než na stránkách prezentace. &lt;br /&gt;
==Příklad 1==&lt;br /&gt;
[[File:Priklad1DimBo.PNG|400px|right]]&lt;br /&gt;
V původní verzi agent musí rozhodnou mezi 3 možnostmi (obrázek zprava grafické znázorňuje toto zadaní):&lt;br /&gt;
* jet pomalu, nedostat pokutu a přijet pozdě&lt;br /&gt;
* jet rychle, nedostat pokutu a přijet včas&lt;br /&gt;
* jet rychle, dostat pokutu a přijet včas (zanedbáváme v tomto případě časem, který agent ztratí při zastavení a placení pokuty; pokuta je důsledkem změření rychlosti)&lt;br /&gt;
Užitky, které agent může dostat, ukazuje následující tabulka:&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1uzitekDimBo.PNG|400px]]&lt;br /&gt;
&lt;br /&gt;
Nyní stačí rozhodnout, jak by měl agent jet – rychle nebo pomalu:&lt;br /&gt;
&lt;br /&gt;
Pomalu: &amp;lt;math&amp;gt;{7*1}=7&amp;lt;/math&amp;gt; (užitek je 7 a pravděpodobnost je 1)&lt;br /&gt;
&lt;br /&gt;
Rychle: &amp;lt;math&amp;gt;{2*0.2+10*0.8=8.4}&amp;lt;/math&amp;gt; (2 a 10 jsou užitky, 0.2 a 0.8 jsou pravděpodobnosti)&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Jelikož &amp;lt;math&amp;gt;8.4&amp;gt;7&amp;lt;/math&amp;gt;, agent by měl jet rychle. &lt;br /&gt;
===Rozšířený příklad===&lt;br /&gt;
Do minulého zadaní můžeme přidat další rozhodnuti. Když agent bude jet rychle a bude změřen, bude mít dvě možnosti na výběr – zastavit se nebo ujet. V případě, že se pokusí ujet, mohou nastat dvě situace – chytí ho nebo nechytí. Následující schematický obrázek ukazuje základní body tohoto zadaní.&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1rozDimBo.PNG|800px]]&lt;br /&gt;
&lt;br /&gt;
A{pomalu; rychle-zastaví; rychle-ujede} – seznam akcí.&lt;br /&gt;
&lt;br /&gt;
O{pozdě-bez pokuty; včas-s pokutou; rychle-bez pokuty; rychle-bez pokuty-ujede; rychle-bez pokuty-chytí} – seznam stavů.&lt;br /&gt;
&lt;br /&gt;
Pro každou akcí provedeme výpočty:&lt;br /&gt;
&lt;br /&gt;
A(pomalu): &amp;lt;math&amp;gt;7*1 = 7&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
A(rychle-zastaví): &amp;lt;math&amp;gt;2*0.2+10*0.8=8,4&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
A(rychle-ujede): &amp;lt;math&amp;gt;0.2*(0.15*20+0.85*(-50))+0.8*10=0.1&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Znovu správná strategie pro agenta jet rychle a v případě, že bude vyžádán – zastavit se.&lt;br /&gt;
&lt;br /&gt;
==Příklad 2==&lt;br /&gt;
Obchod plánuje svou práci na tři měsíce, ředitel obchodu musí rozhodnout: jaká opatření mohou stimulovat poptávku. Má na výběr následující možnosti: sleva 3 % na příští objednávku, doprava zdarma nebo nedělat nic. Kromě toho společnost oceňuje měsíční tržby: výborně, velmi dobře, dobře.&lt;br /&gt;
&lt;br /&gt;
Jsou známé přechodné pravděpodobnosti a odpovídající měsíční příjmy pro každou možnost:&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad2ZadaniDimBo.PNG|800px]]&lt;br /&gt;
&lt;br /&gt;
Cílem je najít optimální strategii pro stimulaci poptávky. V našem případě máme 3 měsíce a 3 úrovní poptávky (výborně, velmi dobře, dobře).&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_1^1=0.4*110+0.5*100+0.1*70=101&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_2^1=0.1*105+0.6*90+0.3*65=84&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_3^1=0*100+0.2*85+0.8*60=65&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_1^2=0.3*130+0.6*110+0.1*90=114&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_2^2=0*130+0.4*100+0.6*85=91&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_3^2=0*125+0.2*98+0.8*80=83.6&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_1^3=0.3*100+0.3*90+0.4*70=85&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_2^3=0.1*110+0.7*95+0.2*65=90.5&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;math&amp;gt; \nu_3^3=0.05*100+0.2*85+0.75*60=67&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
S ohledem na náklady každé strategie (10, 20, 0):&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad2DimBo.PNG|800px]]&lt;br /&gt;
&lt;br /&gt;
Optimální řešení ukazuje, že v prvním a druhém měsíci by společnost měla stimulovat poptávku pomocí bezplatného doručení (pokud poptávka bude “výborná” nebo “velmi dobrá”). Pokud je poptávka jen “dobrá“, nemělo by se nic dělat. Ve třetím měsíci by měl obchod zajistit dodání zdarma bez ohledu na stav systému.&lt;br /&gt;
&lt;br /&gt;
=Závěr=&lt;br /&gt;
MDP je zajímavá a přínosná metoda, kterou je možné používat v obrovském množství situací. Avšak musím zmínit to, že pro dostačující pochopení základů a různorodých metod, člověk musí věnovat tomu hodně času.  &lt;br /&gt;
=Zdroje=&lt;br /&gt;
==Reference==&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
==Doplňující literatura==&lt;br /&gt;
Piunovskiy, Alexey B. 2012. Examples In Markov Decision Processes. Singapore: World Scientific Publishing Company. ProQuest Ebook Central.&lt;br /&gt;
&lt;br /&gt;
Feinberg E., Shwartz A. 2012. Handbook of Markov decision processes: methods and applications. Springer-Verlag New York Inc.&lt;br /&gt;
==Videa==&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/markov-decision-processes-8T0GQ Coursera - Markov Decision Processes]&lt;br /&gt;
&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/examples-of-mdps-ACRYv Coursera - Examples of MDPs]&lt;br /&gt;
&lt;br /&gt;
[https://www.youtube.com/watch?v=my207WNoeyA Markov Decision Processes (MDPs) - Structuring a Reinforcement Learning Problem]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Priklad2DimBo.PNG&amp;diff=19816</id>
		<title>File:Priklad2DimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Priklad2DimBo.PNG&amp;diff=19816"/>
		<updated>2020-06-12T21:08:01Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Priklad2ZadaniDimBo.PNG&amp;diff=19815</id>
		<title>File:Priklad2ZadaniDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Priklad2ZadaniDimBo.PNG&amp;diff=19815"/>
		<updated>2020-06-12T21:05:55Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19813</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19813"/>
		<updated>2020-06-12T20:07:32Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) [https://cs.wikipedia.org/wiki/Markov%C5%AFv_%C5%99et%C4%9Bzec Markovských řetězců].&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy [https://cs.wikipedia.org/wiki/Dynamick%C3%A9_programov%C3%A1n%C3%AD dynamického programování].&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá [[Agents/cs|agent]]. Agent interaguje s [[Agent environments/cs|prostředím]], ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako [https://cs.wikipedia.org/wiki/Uspo%C5%99%C3%A1dan%C3%A1_n-tice uspořádaná čtveřice] prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
=Aplikace MDP=&lt;br /&gt;
White, D.J. v článku [http://www.it.uu.se/edu/course/homepage/aism/st11/MDPApplications1.pdf Real Applications of Markov Decision Processes] uvádí velký seznam aplikací:&lt;br /&gt;
* Zemědělství: kolik pěstovat na základě počasí a stavu půdy.&lt;br /&gt;
* Vodní zdroje: jak udržovat správnou hladinu vody v nádržích.&lt;br /&gt;
* Kontrola, údržba a opravy: kdy vyměnit/zkontrolovat na základě věku, stavu atd.&lt;br /&gt;
* Nákup a výroba: kolik vyrobit na základě poptávky.&lt;br /&gt;
* Fronty: zkrátit čekací dobu.&lt;br /&gt;
* atd.&lt;br /&gt;
&lt;br /&gt;
Další příklady je možné najít v následujících publikacích: [https://www.minet.uni-jena.de/Marie-Curie-ITN/SMIF/talks/Baeuerle.pdf Markov Decision Processes with Applications to Finance], [https://nlp.stanford.edu/pubs/IS2006_HaveWeMet.pdf Have we met? MDP Based Speaker ID for Robot Dialogue], [https://www.sigdial.org/files/workshops/conference14/proceedings/pdf/SIGDIAL36.pdf Training and evaluation of an MDP model for social multi-user human-robot interaction], [http://proceedings.mlr.press/v23/lim12/lim12.pdf Autonomous Exploration For Navigating In MDPs],&lt;br /&gt;
[https://habrahabr.info/development/programming/1401-the-optimal-game-in-2048-with-the-help-of-the-markov-decision-making-process.html The optimal game in 2048 with the help of the Markov decision-making process]&lt;br /&gt;
&lt;br /&gt;
V rámci tohoto článku bych chtěl uvést dva následující řešení. První příklad je z přednášek, ale má složitější formu než na stránkách prezentace. &lt;br /&gt;
==Příklad 1==&lt;br /&gt;
[[File:Priklad1DimBo.PNG|400px|right]]&lt;br /&gt;
V původní verzi agent musí rozhodnou mezi 3 možnostmi (obrázek zprava grafické znázorňuje toto zadaní):&lt;br /&gt;
* jet pomalu, nedostat pokutu a přijet pozdě&lt;br /&gt;
* jet rychle, nedostat pokutu a přijet včas&lt;br /&gt;
* jet rychle, dostat pokutu a přijet včas (zanedbáváme v tomto případě časem, který agent ztratí při zastavení a placení pokuty; pokuta je důsledkem změření rychlosti)&lt;br /&gt;
Užitky, které agent může dostat, ukazuje následující tabulka:&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1uzitekDimBo.PNG|400px]]&lt;br /&gt;
&lt;br /&gt;
Nyní stačí rozhodnout, jak by měl agent jet – rychle nebo pomalu:&lt;br /&gt;
&lt;br /&gt;
Pomalu: &amp;lt;math&amp;gt;{7*1}=7&amp;lt;/math&amp;gt; (užitek je 7 a pravděpodobnost je 1)&lt;br /&gt;
&lt;br /&gt;
Rychle: &amp;lt;math&amp;gt;{2*0.2+10*0.8=8.4}&amp;lt;/math&amp;gt; (2 a 10 jsou užitky, 0.2 a 0.8 jsou pravděpodobnosti)&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Jelikož &amp;lt;math&amp;gt;8.4&amp;gt;7&amp;lt;/math&amp;gt;, agent by měl jet rychle. &lt;br /&gt;
===Rozšířený příklad===&lt;br /&gt;
Do minulého zadaní můžeme přidat další rozhodnuti. Když agent bude jet rychle a bude změřen, bude mít dvě možnosti na výběr – zastavit se nebo ujet. V případě, že se pokusí ujet, mohou nastat dvě situace – chytí ho nebo nechytí. Následující schematický obrázek ukazuje základní body tohoto zadaní.&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1rozDimBo.PNG|800px]]&lt;br /&gt;
&lt;br /&gt;
A{pomalu; rychle-zastaví; rychle-ujede} – seznam akcí.&lt;br /&gt;
&lt;br /&gt;
O{pozdě-bez pokuty; včas-s pokutou; rychle-bez pokuty; rychle-bez pokuty-ujede; rychle-bez pokuty-chytí} – seznam stavů.&lt;br /&gt;
&lt;br /&gt;
Pro každou akcí provedeme výpočty:&lt;br /&gt;
&lt;br /&gt;
A(pomalu): &amp;lt;math&amp;gt;7*1 = 7&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
A(rychle-zastaví): &amp;lt;math&amp;gt;2*0.2+10*0.8=8,4&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
A(rychle-ujede): &amp;lt;math&amp;gt;0.2*(0.15*20+0.85*(-50))+0.8*10=0.1&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Znovu správná strategie pro agenta jet rychle a v případě, že bude vyžádán – zastavit se.&lt;br /&gt;
&lt;br /&gt;
=Závěr=&lt;br /&gt;
MDP je zajímavá a přínosná metoda, kterou je možné používat v obrovském množství situací. Avšak musím zmínit to, že pro dostačující pochopení základů a různorodých metod, člověk musí věnovat tomu hodně času.  &lt;br /&gt;
=Zdroje=&lt;br /&gt;
==Reference==&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
==Doplňující literatura==&lt;br /&gt;
Piunovskiy, Alexey B. 2012. Examples In Markov Decision Processes. Singapore: World Scientific Publishing Company. ProQuest Ebook Central.&lt;br /&gt;
&lt;br /&gt;
Feinberg E., Shwartz A. 2012. Handbook of Markov decision processes: methods and applications. Springer-Verlag New York Inc.&lt;br /&gt;
==Videa==&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/markov-decision-processes-8T0GQ Coursera - Markov Decision Processes]&lt;br /&gt;
&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/examples-of-mdps-ACRYv Coursera - Examples of MDPs]&lt;br /&gt;
&lt;br /&gt;
[https://www.youtube.com/watch?v=my207WNoeyA Markov Decision Processes (MDPs) - Structuring a Reinforcement Learning Problem]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19812</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19812"/>
		<updated>2020-06-12T20:05:41Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) [https://cs.wikipedia.org/wiki/Markov%C5%AFv_%C5%99et%C4%9Bzec Markovských řetězců].&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy [https://cs.wikipedia.org/wiki/Dynamick%C3%A9_programov%C3%A1n%C3%AD dynamického programování].&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá [[Agents/cs|agent]]. Agent interaguje s [[Agent environments/cs|prostředím]], ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako [https://cs.wikipedia.org/wiki/Uspo%C5%99%C3%A1dan%C3%A1_n-tice uspořádaná čtveřice] prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
=Aplikace MDP=&lt;br /&gt;
White, D.J. v článku [http://www.it.uu.se/edu/course/homepage/aism/st11/MDPApplications1.pdf Real Applications of Markov Decision Processes] uvádí velký seznam aplikací:&lt;br /&gt;
* Zemědělství: kolik pěstovat na základě počasí a stavu půdy.&lt;br /&gt;
* Vodní zdroje: jak udržovat správnou hladinu vody v nádržích.&lt;br /&gt;
* Kontrola, údržba a opravy: kdy vyměnit/zkontrolovat na základě věku, stavu atd.&lt;br /&gt;
* Nákup a výroba: kolik vyrobit na základě poptávky.&lt;br /&gt;
* Fronty: zkrátit čekací dobu.&lt;br /&gt;
* atd.&lt;br /&gt;
&lt;br /&gt;
Další příklady je možné najít v následujících publikacích: [https://www.minet.uni-jena.de/Marie-Curie-ITN/SMIF/talks/Baeuerle.pdf Markov Decision Processes with Applications to Finance], [https://nlp.stanford.edu/pubs/IS2006_HaveWeMet.pdf Have we met? MDP Based Speaker ID for Robot Dialogue], [https://www.sigdial.org/files/workshops/conference14/proceedings/pdf/SIGDIAL36.pdf Training and evaluation of an MDP model for social multi-user human-robot interaction], [http://proceedings.mlr.press/v23/lim12/lim12.pdf Autonomous Exploration For Navigating In MDPs],&lt;br /&gt;
[https://habrahabr.info/development/programming/1401-the-optimal-game-in-2048-with-the-help-of-the-markov-decision-making-process.html The optimal game in 2048 with the help of the Markov decision-making process]&lt;br /&gt;
&lt;br /&gt;
V rámci tohoto článku bych chtěl uvést dva následující řešení. První příklad je z přednášek, ale má složitější formu než na stránkách prezentace. &lt;br /&gt;
==Příklad 1==&lt;br /&gt;
[[File:Priklad1DimBo.PNG|400px|right]]&lt;br /&gt;
V původní verzi agent musí rozhodnou mezi 3 možnostmi (obrázek zprava grafické znázorňuje toto zadaní):&lt;br /&gt;
* jet pomalu, nedostat pokutu a přijet pozdě&lt;br /&gt;
* jet rychle, nedostat pokutu a přijet včas&lt;br /&gt;
* jet rychle, dostat pokutu a přijet včas (zanedbáváme v tomto případě časem, který agent ztratí při zastavení a placení pokuty; pokuta je důsledkem změření rychlosti)&lt;br /&gt;
Užitky, které agent může dostat, ukazuje následující tabulka:&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1uzitekDimBo.PNG|400px]]&lt;br /&gt;
&lt;br /&gt;
Nyní stačí rozhodnout, jak by měl agent jet – rychle nebo pomalu:&lt;br /&gt;
&lt;br /&gt;
Pomalu: &amp;lt;math&amp;gt;{7*1}=7&amp;lt;/math&amp;gt; (užitek je 7 a pravděpodobnost je 1)&lt;br /&gt;
&lt;br /&gt;
Rychle: &amp;lt;math&amp;gt;{2*0.2+10*0.8=8.4}&amp;lt;/math&amp;gt; (2 a 10 jsou užitky, 0.2 a 0.8 jsou pravděpodobnosti)&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Jelikož &amp;lt;math&amp;gt;8.4&amp;gt;7&amp;lt;/math&amp;gt;, agent by měl jet rychle. &lt;br /&gt;
===Rozšířený příklad===&lt;br /&gt;
Do minulého zadaní můžeme přidat další rozhodnuti. Když agent bude jet rychle a bude změřen, bude mít dvě možnosti na výběr – zastavit se nebo ujet. V případě, že se pokusí ujet, mohou nastat dvě situace – chytí ho nebo nechytí. Následující schematický obrázek ukazuje základní body tohoto zadaní.&lt;br /&gt;
&lt;br /&gt;
[[File:Priklad1rozDimBo.PNG|800px]]&lt;br /&gt;
&lt;br /&gt;
A{pomalu; rychle-zastaví; rychle-ujede} – seznam akcí.&lt;br /&gt;
&lt;br /&gt;
O{pozdě-bez pokuty; včas-s pokutou; rychle-bez pokuty; rychle-bez pokuty-ujede; rychle-bez pokuty-chytí} – seznam stavů.&lt;br /&gt;
&lt;br /&gt;
Pro každou akcí provedeme výpočty:&lt;br /&gt;
&lt;br /&gt;
A(pomalu): &amp;lt;math&amp;gt;7*1 = 7&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;i&amp;gt;A(rychle-zastaví): &amp;lt;math&amp;gt;2*0.2+10*0.8=8,4&amp;lt;/math&amp;gt;&amp;lt;/i&amp;gt; &lt;br /&gt;
&lt;br /&gt;
A(rychle-ujede): &amp;lt;math&amp;gt;0.2*(0.15*20+0.85*(-50))+0.8*10=0.1&amp;lt;/math&amp;gt;&lt;br /&gt;
&lt;br /&gt;
=Závěr=&lt;br /&gt;
MDP je zajímavá a přínosná metoda, kterou je možné používat v obrovském množství situací. Avšak musím zmínit to, že pro dostačující pochopení základů a různorodých metod, člověk musí věnovat tomu hodně času.  &lt;br /&gt;
=Zdroje=&lt;br /&gt;
==Reference==&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
==Doplňující literatura==&lt;br /&gt;
Piunovskiy, Alexey B. 2012. Examples In Markov Decision Processes. Singapore: World Scientific Publishing Company. ProQuest Ebook Central.&lt;br /&gt;
&lt;br /&gt;
Feinberg E., Shwartz A. 2012. Handbook of Markov decision processes: methods and applications. Springer-Verlag New York Inc.&lt;br /&gt;
==Videa==&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/markov-decision-processes-8T0GQ Coursera - Markov Decision Processes]&lt;br /&gt;
&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/examples-of-mdps-ACRYv Coursera - Examples of MDPs]&lt;br /&gt;
&lt;br /&gt;
[https://www.youtube.com/watch?v=my207WNoeyA Markov Decision Processes (MDPs) - Structuring a Reinforcement Learning Problem]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Priklad1rozDimBo.PNG&amp;diff=19811</id>
		<title>File:Priklad1rozDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Priklad1rozDimBo.PNG&amp;diff=19811"/>
		<updated>2020-06-12T20:00:01Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Priklad1uzitekDimBo.PNG&amp;diff=19810</id>
		<title>File:Priklad1uzitekDimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Priklad1uzitekDimBo.PNG&amp;diff=19810"/>
		<updated>2020-06-12T19:51:36Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Priklad1DimBo.PNG&amp;diff=19809</id>
		<title>File:Priklad1DimBo.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Priklad1DimBo.PNG&amp;diff=19809"/>
		<updated>2020-06-12T19:50:08Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19802</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19802"/>
		<updated>2020-06-12T12:06:59Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) [https://cs.wikipedia.org/wiki/Markov%C5%AFv_%C5%99et%C4%9Bzec Markovských řetězců].&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy [https://cs.wikipedia.org/wiki/Dynamick%C3%A9_programov%C3%A1n%C3%AD dynamického programování].&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá [[Agents/cs|agent]]. Agent interaguje s [[Agent environments/cs|prostředím]], ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako [https://cs.wikipedia.org/wiki/Uspo%C5%99%C3%A1dan%C3%A1_n-tice uspořádaná čtveřice] prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=Zdroje=&lt;br /&gt;
==Reference==&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
==Doplňující literatura==&lt;br /&gt;
Piunovskiy, Alexey B. 2012. Examples In Markov Decision Processes. Singapore: World Scientific Publishing Company. ProQuest Ebook Central.&lt;br /&gt;
&lt;br /&gt;
Feinberg E., Shwartz A. 2012. Handbook of Markov decision processes: methods and applications. Springer-Verlag New York Inc.&lt;br /&gt;
==Videa==&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/markov-decision-processes-8T0GQ Coursera - Markov Decision Processes]&lt;br /&gt;
&lt;br /&gt;
[https://www.coursera.org/lecture/fundamentals-of-reinforcement-learning/examples-of-mdps-ACRYv Coursera - Examples of MDPs]&lt;br /&gt;
&lt;br /&gt;
[https://www.youtube.com/watch?v=my207WNoeyA Markov Decision Processes (MDPs) - Structuring a Reinforcement Learning Problem]&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19801</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19801"/>
		<updated>2020-06-12T11:47:08Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) [https://cs.wikipedia.org/wiki/Markov%C5%AFv_%C5%99et%C4%9Bzec Markovských řetězců].&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy [https://cs.wikipedia.org/wiki/Dynamick%C3%A9_programov%C3%A1n%C3%AD dynamického programování].&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá [[Agents/cs|agent]]. Agent interaguje s [[Agent environments/cs|prostředím]], ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako [https://cs.wikipedia.org/wiki/Uspo%C5%99%C3%A1dan%C3%A1_n-tice uspořádaná čtveřice] prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19798</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19798"/>
		<updated>2020-06-11T17:48:27Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) Markovských řetězců.&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy dynamického programování.&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá agent. Agent interaguje s prostředím, ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako uspořádaná čtveřice prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
===Iterace hodnot===&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 &amp;lt;ref name=&amp;quot;Ibe&amp;quot;/&amp;gt;, přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceHodnot.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
===Iterace strategie===&lt;br /&gt;
V této metodě se pracuje se vzorcem daném iterací hodnoty, pak se umožní strategii aktualizovat tak, že v akce provedená v každém stavu poskytuje minimální hodnotu pro nově vypočítané hodnoty sousedů tohoto stavu. Tento proces pokračuje, dokud existuje rozdíl mezi novou strategií a předcházející.&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
[[File:IteraceStrategie.PNG|500px|Algoritmus převzat z článku&amp;lt;ref name=&amp;quot;Zanini&amp;quot;/&amp;gt;]]&lt;br /&gt;
&lt;br /&gt;
==Zpracování nejistoty: POMDP a přibližné metody==&lt;br /&gt;
Hlavním předpokladem předchozích metod bylo to, že stavy jsou známé, stejně jako funkce distribuce akce. V reálném životě tomu tak často není. Zvláštní třída MDP – částečně pozorovatelný Markovův rozhodovací proces (POMDP) se zabývá případy, kdy aktuální stav není vždy znám. &lt;br /&gt;
&lt;br /&gt;
Jiný druh nejistoty vzniká, když pravděpodobnosti nebo odměny nejsou známé. Populární oblastí, která se zabývá takovýmto problémem (zejména v oblasti umělé inteligence) je oblast zpětnovazebního učení. Síla zpětnovazebního učení leží v jeho schopnosti řešit Markovský rozhodovací proces bez výpočtu pravděpodobností přechodu.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:IteraceHodnot.PNG&amp;diff=19797</id>
		<title>File:IteraceHodnot.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:IteraceHodnot.PNG&amp;diff=19797"/>
		<updated>2020-06-11T17:45:56Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:IteraceStrategie.PNG&amp;diff=19796</id>
		<title>File:IteraceStrategie.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:IteraceStrategie.PNG&amp;diff=19796"/>
		<updated>2020-06-11T17:41:09Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Dynamicke1.PNG&amp;diff=19795</id>
		<title>File:Dynamicke1.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Dynamicke1.PNG&amp;diff=19795"/>
		<updated>2020-06-11T17:32:49Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: Dmitry Borodin načetl novou verzi File:Dynamicke1.PNG&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19794</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19794"/>
		<updated>2020-06-11T17:30:32Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) Markovských řetězců.&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy dynamického programování.&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá agent. Agent interaguje s prostředím, ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako uspořádaná čtveřice prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
=Algoritmy= &lt;br /&gt;
Jelikož cílem MDP je poskytnout tvůrci rozhodnutí optimální politiku, která bude maximalizovat určitou kumulativní funkci odměn, v průběhu let vznikla řada metod. Avšak nejběžnějšími metodami, jak řešit Markovské rozhodovací procesy, jsou metody lineárního a dynamického programování. Právě metodám dynamického programování bude věnován následující text. &lt;br /&gt;
==Přesné metody: Dynamické programování==&lt;br /&gt;
Nejprve je třeba zavést několik předpokladů. Nechť je známa funkce přechodu a funkce odměny, takže cílem je získat politiku, která maximalizuje očekávanou diskontovanou odměnu.&lt;br /&gt;
Algoritmus má jen dva druhy kroků, které jsou opakovány v určitém pořadí pro všechny stavy:&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke1.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
[[File:Dynamicke2.PNG|500px|]]&lt;br /&gt;
&lt;br /&gt;
==Iterace hodnot==&lt;br /&gt;
Tento přistup navrhl Bellman v roce 1957 [3], přístup iterace hodnot, nazývaný také zpětná indukce. Algoritmus vypočítává očekávanou hodnotu každého stavu pomocí hodnoty sousedních stavů až do konvergence.&lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Dynamicke2.PNG&amp;diff=19793</id>
		<title>File:Dynamicke2.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Dynamicke2.PNG&amp;diff=19793"/>
		<updated>2020-06-11T17:28:31Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:Dynamicke1.PNG&amp;diff=19792</id>
		<title>File:Dynamicke1.PNG</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:Dynamicke1.PNG&amp;diff=19792"/>
		<updated>2020-06-11T17:27:13Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19791</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19791"/>
		<updated>2020-06-11T17:20:58Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|thumb||right|300px|Andrej Markov – ruský matematik, zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) Markovských řetězců.&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy dynamického programování.&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá agent. Agent interaguje s prostředím, ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces pak může být definován jako uspořádaná čtveřice prvků {S, A, T, R}, kde&lt;br /&gt;
* S – značí konečnou množinu stavů.&lt;br /&gt;
* A – značí konečnou množinu akcí, pro každý stav je možno určit určitou množinu akcí.&lt;br /&gt;
* T – značí tranzitní (přechodovou) funkci nebo model, ve kterém T (&amp;lt;math&amp;gt;S_t, a, S_{t+1}&amp;lt;/math&amp;gt;) je pravděpodobnost přechodu do stavu &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; při aplikaci akce na stav &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt;.&lt;br /&gt;
* R – značí okamžitý užitek dosažený po přechodu ze stavu &amp;lt;math&amp;gt;S_t&amp;lt;/math&amp;gt; na stav &amp;lt;math&amp;gt;S_{t+1}&amp;lt;/math&amp;gt; s pravděpodobností přechodu T (&amp;lt;math&amp;gt;S_t , S_{t+1}&amp;lt;/math&amp;gt;)&lt;br /&gt;
&lt;br /&gt;
Agenti jen zřídka učiní jenom jedno rozhodnutí. Každé rozhodnutí má obvykle nějaké důsledky, vedoucí k dalším rozhodnutím, která vedou k dalším rozhodnutím atd. Cílem je vybrat strategii, která bude maximalizovat kumulativní funkci náhodných užitků. Metoda identifikující optimální strategii závisí na formě účelové funkce, tj. na optimalizačním kritériu. Volba vhodného kritéria závisí na povaze prostředí (např. jsou rozdílné při nekonečném nebo konečném horizontu)&amp;lt;ref name=&amp;quot;DP&amp;quot;/&amp;gt; &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19790</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19790"/>
		<updated>2020-06-11T17:09:04Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
[[File:AAMarkov.jpg|right|300px|Andrej Markov – ruský matematik,zabýval se číselnou teorií, spojitými zlomky, řadami a zejména teorií pravděpodobnosti. Po Markovovi jsou nazvány Markovovy řetězce, Markovovy nerovnosti, Markovův rozhodovací proces, Markovův algoritmus, Gaussův-Markovův teorém a další]]&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) Markovských řetězců.&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy dynamického programování.&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd.&lt;br /&gt;
=Definice=&lt;br /&gt;
V této časti se soustředíme na konkrétnější definici a matematický vzore. Nutné zmínit, že existují různé formulace pro MDP, avšak klíčové aspekty jsou stejné. V MDP existuje “tvůrce rozhodnutí“, který se nazývá agent. Agent interaguje s prostředím, ve kterém je umístěn. K těmto interakcím dochází postupně. V každém kroku agent získává určitou reprezentaci stavu prostředí. Vzhledem k této reprezentaci agent vybere akci, kterou má provést. Prostředí je poté převedeno do nového stavu a agent dostává odměnu v důsledku předchozí akce.&lt;br /&gt;
&lt;br /&gt;
Komponenty MDP:&lt;br /&gt;
* Agent&lt;br /&gt;
* Prostředí&lt;br /&gt;
* Stav&lt;br /&gt;
* Akce&lt;br /&gt;
* Odměna&lt;br /&gt;
&lt;br /&gt;
Proces výběru akce z daného stavu, přechodu do nového stavu a získání odměny se děje postupně znovu a znovu. Výsledkem je trajektorie/mapa, která ukazuje posloupnost stavů, akcí a odměn. V průběhu tohoto procesu je cílem agenta maximalizovat celkové množství odměn, které získává za provádění akcí. To znamená, že agent chce maximalizovat nejen okamžitou odměnu, ale kumulativní odměny, které dostává v průběhu času. Posledním nezbytným bodem je tranzitní (přechodová) funkce, která označuje pravděpodobnost přechodu z jednoho stavu do jiného při volbě určité akce.&lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=File:AAMarkov.jpg&amp;diff=19789</id>
		<title>File:AAMarkov.jpg</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=File:AAMarkov.jpg&amp;diff=19789"/>
		<updated>2020-06-11T16:59:49Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19788</id>
		<title>Markov decision process/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Markov_decision_process/cs&amp;diff=19788"/>
		<updated>2020-06-11T16:54:19Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: Created page with &amp;quot;=Úvod= Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie....&amp;quot;&lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;=Úvod=&lt;br /&gt;
Nejistota je velice častým rysem obrovského množství modelů v různých oborech, od počítačové vědy, inženýrství a operačního výzkumu až po ekonomie. Často je nutné řešit problémy nebo přijímat rozhodnutí bez komplexních znalosti všech relevantních faktorů a bez znalosti jejich možného budoucího chování. Ve spoustě situacích výsledek částečně závisí na náhodnosti a částečně na rozhodování agenta. Proto je velice užitečné vytvořit rámec pro modelování toho, jak rozhodovat ve stochastickém prostředí. Příkladem takových modelů jsou Markovské procesy. Tyto procesy mají důležitou charakteristiku, která se spočívá v tom, že způsob, jakým se budou v budoucnu vyvíjet, závisí pouze na jejich současném stavu. To znamená, že každý proces je nezávislý na událostech z minulosti. Pomocí Markovských procesů lze modelovat celou řadu důležitých náhodných systémů, včetně biologických systémů a epidemiologie, finančních a fyzických systémů.&amp;lt;ref name=&amp;quot;Zanini&amp;quot;&amp;gt;ZANINI, Elena. &amp;lt;i&amp;gt;Markov Decision Processes.&amp;lt;/i&amp;gt; [online] [cit. 2020-06-01] Dostupné z: https://www.lancaster.ac.uk/postgrad/zaninie/MDP.pdf/&amp;lt;/ref&amp;gt;&lt;br /&gt;
&lt;br /&gt;
Markovův rozhodovací proces (v angličtině Markov decision process nebo MDP) je matematický model pro rozhodování za nejistoty. Model se používá v situacích, kdy jsou výsledky částečně náhodné a zároveň částečně záleží na rozhodnutích &amp;lt;ref name=&amp;quot;4IT495&amp;quot;&amp;gt;ŠALAMON, Tomáš. &amp;lt;i&amp;gt;Podklady k předmětu 4IT495 - Simulace systémů; VŠE - fakulta informatiky a statistiky. 10-Multiagent_systems_I_.pdf&amp;lt;/i&amp;gt;&amp;lt;/ref&amp;gt;. MDP je obecnějším modelem (rozšířením) Markovských řetězců.&amp;lt;ref name=&amp;quot;BP1&amp;quot;&amp;gt;TŮMOVÁ, Jana. &amp;lt;i&amp;gt;Paralelní ověřování kvalitativních vlastností pravděpodobnostních modelů&amp;lt;/i&amp;gt;. Brno,2006. Masarykova Univerzita, Fakulta informatiky. Vedoucí práce: Mgr. Jiří Barnat, Ph.D.&amp;lt;/ref&amp;gt; Hlavní rozdíl je v přidání do modelu užitků a akcí. V MDP agent provádí posloupnost akcí, které transformují stav systému do jednoho z několika možných následných stavů. Každý možný následný stav má určitou míru pravděpodobnosti přechodu.&amp;lt;ref name=&amp;quot;Ibe&amp;quot;&amp;gt;IBE, Oliver. &amp;lt;i&amp;gt;Markov Processes for Stochastic Modeling. Saint Louis: Elsevier&amp;lt;/i&amp;gt;. 2013. ProQuest Ebook Central&amp;lt;/ref&amp;gt; Postup obsahuje zkoumání současného stavu a vykonaní akce. K řešení se obvykle používají algoritmy dynamického programování.&amp;lt;ref name=&amp;quot;DP&amp;quot;&amp;gt;STÁREK, Ivo. &amp;lt;i&amp;gt;Plánování cesty robota pomocí dynamického programování&amp;lt;/i&amp;gt;. Brno,2009. Vysoké učení technické v Brně, Fakulta strojního inženýrství. Vedoucí práce: RNDr. Jiří Dvořák, CSc.&amp;lt;/ref&amp;gt; Avšak nevýhodou metod dynamického programování je ten fakt, že prohledávají celý prostor stavů. Takový přistup může být velice náročným vzhledem k času a zdrojům. Dalším problémem je “Short-term vs. long-term problem” – to, co je vhodné z krátkodobého hlediska, může být nevhodné z dlouhodobého hlediska.&amp;lt;ref name=&amp;quot;4IT495&amp;quot;/&amp;gt; Jedna z prvních publikací je “A Markovian Decision Process” z roku 1957, autorem je Richard Bellman. V současnosti MDP našlo uplatnění v různých disciplínách – robotika, automatické řízení, ekonomika, výroba atd. &lt;br /&gt;
&lt;br /&gt;
=Citace=&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
	<entry>
		<id>http://www.simulace.info/index.php?title=Assignment_SS_2019/2020/cs&amp;diff=19591</id>
		<title>Assignment SS 2019/2020/cs</title>
		<link rel="alternate" type="text/html" href="http://www.simulace.info/index.php?title=Assignment_SS_2019/2020/cs&amp;diff=19591"/>
		<updated>2020-06-03T11:31:12Z</updated>

		<summary type="html">&lt;p&gt;Dmitry Borodin: &lt;/p&gt;
&lt;hr /&gt;
&lt;div&gt;{{DISPLAYTITLE:Zadání LS 2019/2020}}&lt;br /&gt;
&lt;br /&gt;
{{Ambox&lt;br /&gt;
| text  = &amp;lt;div&amp;gt;&lt;br /&gt;
Na tuto stránku vkládejte svá zadání. Nezapomeňte se podepsat. Můžete použít &amp;lt;nowiki&amp;gt;~~~~&amp;lt;/nowiki&amp;gt; (čtyři tildy) k automatickému podpisu. Používejte Ukázat náhled, abyste si prohlédli Váš výsledek před konečným odesláním.&lt;br /&gt;
&amp;lt;/div&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Ambox&lt;br /&gt;
| text  = &amp;lt;div&amp;gt;&lt;br /&gt;
Prosíme, snažte se formulovat Vaše zadání pečlive. S ohledem na to, že jde o Vaši semestrální práci, očekáváme adekvátní úsilí vynaložené na zadání. Nezapomeňte, že hlavním výsledkem má být výzkumná zpráva, což znamená, že Váš simulační model musí generovat takové výsledky, které jsou konkrétní, měřitelné a ověřitelné. Pečlivě promyslete, jakým způsobem budete vyvíjet Váš model, odvoďte entity, které budete používat, nakreslete si diagram modelu, zvažte, co budete měřit. Teprve pokud máte o modelu dostatečně přesnou představu, vložte Vaše zadání. A samozřejmě, nezapomeňte si prosím přečíst [[How to deal with the simulation assignment/cs|Jak na simulace]].&lt;br /&gt;
&amp;lt;/div&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
{{Ambox&lt;br /&gt;
| type  = content&lt;br /&gt;
| text  = &amp;lt;div&amp;gt;&lt;br /&gt;
Abychom se vyhnuli případnému budoucímu nedorozumnění, prosíme, ověřte si, že máte tučné '''schváleno''' někde v našem komentáři pod Vaším zadání. Pokud tam není '''schváleno''', znamená to, že Vaše zadání dosud schváleno nebylo.&lt;br /&gt;
&amp;lt;/div&amp;gt;&lt;br /&gt;
}}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
== Simulácia zberu jahôd ==&lt;br /&gt;
&lt;br /&gt;
'''Názov simulácie''': Zber jahôd&lt;br /&gt;
&lt;br /&gt;
'''Autor''': Juraj Bačovčin&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu''': Multiagentný&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj''': NetLogo&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu''': Do prostredia tvoreného prechodnou zeleňou, ľubovoľným počtom náhodne rozmiestnených prekážok v podobe stromov a rovnako tak ľubovoľným počtom náhodne rozmiestnených jahôd sú poslaní piati vzájomne súperiaci zberači. Ako to už vyplýva z ich pomenovania, hlavným cieľom týchto zberačov je samozrejme pozbierať čo najvyšší počet jahôd skôr než sa ich zmocnia ostatní, pričom každý jeden z nich má odlišnú stratégiu. Prvý zberač menom '''Adam''' sa riadi čisto len svojimi inštinktmi a ďalšie miesto, na ktoré sa vydá, si vyberá výhradne náhodne. '''Bohumil''' k tomu pristupuje už o čosi chytrejšie a vydáva sa vždy práve za tou jahodou, ktorá sa k nemu aktuálne nachádza najbližšie. '''Cyril''' je zasa raz o niečo pripravenejší a informovanejší, vďaka čomu sa môže vždy vybrať najskôr na miesto, kde by mal byť zhluk jahôd najväčší, všetky ich pozbierať a až tak zasa rovnakým spôsobom pokračovať na ďalšie také miesto. '''Denis''' je v porovnaní s ostatnými zákernejší a vyberá si za svoj cieľ vždy práve tú jahodu, po ktorej ide zberač nachádzajúci sa k nemu najbližšie. Na rozdiel od neho posledný zberač menom '''Erik''' postráda kompetitívneho ducha a vyberá si vždy jahodu, ktorá je k nemu najbližšie a zároveň po nej nikto iný práve nejde.&lt;br /&gt;
&lt;br /&gt;
'''Parametre modelu''':&lt;br /&gt;
* Počet jahôd&lt;br /&gt;
* Počet stromov&lt;br /&gt;
* Veľkosť stromov&lt;br /&gt;
* Rýchlosť pohybu zberačov&lt;br /&gt;
&lt;br /&gt;
'''Cieľ simulácie''': Hlavným cieľom tejto simulácie je porovnať rozdielne prístupy k zdanlivo všednej úlohe za účelom nájdenia optimálnej stratégie zberu jahôd (alebo prakticky akýchkoľvek iných surovín) v kompetitívnom prostredí. Okrem toho je však i možné sledovať, ktorá z menovaných stratégií sa teší najväčšiemu úspechu pri iných nastaveniach parametrov, prípadne aké nastavenie parametrov vykazuje najlepšie výsledky pre každého z definovaných zberačov.&lt;br /&gt;
&lt;br /&gt;
'''Možnosti rozšírení''': Do modelu je možné pridať i ďalšie typy objektov (napríklad prekážky s odlišnými tvarmi), parametrov (ako napríklad miera únavnosti, na základe ktorej sa všetci zberači postupne budú spomaľovať až pokiaľ nezastanú úplne za účelom krátkeho oddychu) a v neposlednom rade i zberačov (s ďalšími stratégiami).&lt;br /&gt;
&lt;br /&gt;
: Ta hustota (množství) překážek určitě patrí mezi parametry modelu. Jinak '''schváleno'''.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
== Degenerace při chovu Australských ovčáků (AUO) ==&lt;br /&gt;
&lt;br /&gt;
'''Název:''' Degenerace při chovu Australských ovčáků (AUO)&lt;br /&gt;
&lt;br /&gt;
'''Autor:''' [[User:Herm10|Herm10]] ([[User talk:Herm10|talk]]) 22:45, 13 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
'''Nástroj:''' NetLogo&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu:''' Multiagentní&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu:''' Australský ovčák je plemeno, které poslední dobou stoupá v oblibě. Nicméně oproti klasikám jako jsou například labradoři nebo němečtí ovčáci, je počet chovatelů relativně malý. U každého rozmnožování psů se preferuje uchovnění dle určitých pravidel, nicméně u AUO to platí dvojnásob. Tito psi mohou často trpět epilepsií a dalšími nemocemi, které jsou pro toto plemeno typické (oční vady, kloubní onemocnění, hluchota a třeba i alergie). U psa s PP se riziko některých onemocnění výrazně sníží, nebo dokonce úplně vyloučí díky testování. Proto je u tohoto psa množení bez pravidel a testování velmi kritizované.&lt;br /&gt;
&lt;br /&gt;
Na základě testování jedinců se dá vypočítat pravděpodobnost jednotlivých onemocnění v rámci další generace/generací. Kromě testů se dá u psů již podle procenta bílé barvy vypočítávat pravděpodobnost určitých onemocnění v případné další generace. Proto se takzvaným „nestandardům“ (psům kteří neprojdou určitým počtem testů) zakazuje dále rozmnožovat a doporučuje se kastrace. Stále ale existují určité parametry, které se u uchovnění nehlídají a další generace ohrožují. V takovém případě je na svědomí chovatele, jestli takového psa nakryje a zvýší riziko onemocnění u dalších generací.&lt;br /&gt;
&lt;br /&gt;
Na základě testů a rodinné příslušnosti jsou stanovena přísná pravidla, kdo s kým se může křížit. Pro obnovení silných genů si občas nechají chovatelé dovézt psa na nakrytí ze zahraničí.&lt;br /&gt;
&lt;br /&gt;
Ne každé nakrytí je úspěšné a také počet zdravých štěňat se značně liší.&lt;br /&gt;
&lt;br /&gt;
Ne každý páníček svého psa uchovní, což do jisté míry ovlivní budoucnost chovů. Naopak spousta lidí chce ty nejlepší psy „jen tak pro rodinu“, a tím pádem takový jedinec již nemá šanci přispět svými kvalitními geny.&lt;br /&gt;
&lt;br /&gt;
Vzhledem k tomu, že poptávka v tomto roce výrazně začala převyšovat nabídku, začalo se více objevovat „bezpapírové“ množení, díky čemuž se rodí například slepá nebo hluchá štěňata&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Agenti:'''&lt;br /&gt;
* Psi&lt;br /&gt;
* Chovatelé&lt;br /&gt;
&lt;br /&gt;
'''Parametry:'''&lt;br /&gt;
* Počet psů dovezených ze zahraničí&lt;br /&gt;
* Počet nelegálních chovatelů&lt;br /&gt;
* Počet nezodpovědných chovatelů&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace:''' Cílem práce je sledovat vývoj tohoto plemene a míru degenerace v závislosti na chování chovatelů. Výstupem by byl také počet štěňat, které kvůli jejich výrazným vadám nikdo nechce (hluchota, slepota, …). Jeden měsíc = jeden tick.&lt;br /&gt;
&lt;br /&gt;
'''Data:''' Data ohledně tohoto plemene jsou volně dostupná na internetu.&lt;br /&gt;
Zde příklad genetiky o anomálii očí: https://www.genomia.cz/cz/test/cea-collie-eye-anomaly/&lt;br /&gt;
Chovné stanice a informace o potomcích – narozené vrhy 2020: http://www.aussiesworld.cz/index.php/chov/vrhy/narozene-vhry/narozene-vrhy-2020&lt;br /&gt;
&lt;br /&gt;
'''Schváleno''' [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]]) 18:27, 14 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
== Procesní analýza dopravy cestujících na Letiště Václava Havla (LVH) pro optimalizaci při zavedení metra &amp;lt;ref name=&amp;quot;pazdro&amp;quot;&amp;gt;&amp;lt;i&amp;gt;PAZDRO, V. ANALÝZA ZPŮSOBŮ DOPRAVY CESTUJÍCÍCH NA&lt;br /&gt;
LETIŠTĚ S VLIVEM NA ODBAVOVACÍ PROCES.&amp;lt;/i&amp;gt; České vysoké učení technické v Praze: Fakulta dopravní [online]. 2018 [cit. 2020-05-14]. Dostupné z: https://dspace.cvut.cz/bitstream/handle/10467/77357/F6-DP-2018-Pazdro-Vladimir-Analyza%20zpusobu%20dopravy%20cestujicich%20na%20letiste%20s%20vlivem%20na%20odbavovaci%20proces.pdf?sequence=-1&amp;amp;isAllowed=y&amp;lt;/ref&amp;gt; ==&lt;br /&gt;
&lt;br /&gt;
* '''Název simulace:''' Metro na LVH&lt;br /&gt;
* '''Autor:''' [[User:Zurp00|Zurp00]] ([[User talk:Zurp00|talk]]) 20:55:45, 14 May 2020 (CET) Polina Luneva&lt;br /&gt;
* '''Typ modelu:''' Diskrétní simulace&lt;br /&gt;
* '''Modelovací nástroj:''' [http://simprocess.com/ SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu''': Prodloužení pražské trasy metra A z Motola na Letiště Václava Havla by vyšlo na 26,8 miliardy korun. Vybudování tratě by i s přípravnými pracemi trvalo jedenáct let (analýza by měla trvat 6,5 roku, dalších 4,5 roku stavba samotná). Hloubka podzemních stanic by se pohybovala v rozmezí 20 až 45 metrů Vyplývá to z analýzy firmy Metroprojekt pro dopravní podnik a magistrát. &amp;lt;ref name=&amp;quot;CTK&amp;quot;&amp;gt;ČTK. &amp;lt;i&amp;gt;Protažení metra na letiště by stálo 27 miliard a trvalo 11 let, říká analýza.&amp;lt;/i&amp;gt; iDNES: [online]. 2018 [cit. 2020-05-14]. Dostupné z: https://www.idnes.cz/praha/zpravy/prodlouzeni-metra-motol-letiste-miliardy-analyza.A180215_120053_praha-zpravy_rsr&amp;lt;/ref&amp;gt; Je tedy patrné, že celá výstavba metra zabere dost času, ale i finančních prostředků, proto je potřeba co nejvíce času věnovat řádné přípravě. Tato práce by mohla posloužit jako jeden ze způsobu dat.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Metoda''': Model bude zpracován pomocí programu SIMPROCESS, který je uzpůsobený přesně na podobné problematiky. Bude zde možné nastavovat různé množství časových intervalů a počtu vozů apod.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace''': V práci se chci soustředit na analýzu procesu dopravy metrem na LVH a návrh nejlepší možné optimalizace.&lt;br /&gt;
&lt;br /&gt;
LVH má otevřeno 24 hod. Sledovat se bude z důvodů dostupnosti dat interval jedné hodiny &amp;lt;9;10&amp;gt; a podle toho budu chtít určit &lt;br /&gt;
* Interval, jak často má metro jezdit s ohledem na ostatní faktory (fronty, tvořící se na security, pásové kontrole)&lt;br /&gt;
* Počet otevřených přepážek na bezpečnostní kontrole&lt;br /&gt;
* Počet otevřených přepážek na pásové kontrole &lt;br /&gt;
&lt;br /&gt;
Vlak bude zastavovat na Nemocnice Motol (stávající poslední zastávka metra A) -Bílá Hora- Dědina- Dlouhá Míle- LVH. Rychlost jízdy je maximálně 90 Km/hod. Nepočítají se zastávky a doba čekání, tudíž i toto je potřeba spočítat. Doba trvání jízdy z Můstku na LVH je 25 minut. Celková vzdálenost LVH od centra je 17 km, nová dráha od Nemocnice Motol do LVH bude dlouhá 7 km, stávající dráha od Můstku do Nemocnice Motol je 10 km. Tudíž rychlost metra je v průměru 41 km/hod. &lt;br /&gt;
Doba zahřívání bude z předchozích údajů 25 minut, tudíž začátek bude nastaven na 8:35 hodin. &lt;br /&gt;
&lt;br /&gt;
Počítá se s metrovou soupravou M1, která má kapacitu 1464 cestujících. Redukce kabin není možná, tudíž je možné pracovat pouze s intervalem.&lt;br /&gt;
&lt;br /&gt;
Dle poskytnutých dat by v časovém rozmezí 9-10 hod přijelo metrem v průměru 29 osob za 1 min (v případě výběru cestujícími metro, jako hlavního dopravního prostředku, takový je i předpoklad). Zároveň se musí počítat s cestujícími, jenž přijíždějí nejen metrem, ale ostatními prostředky (autobus, auto, taxi). Tam v této hodině se počítá zhruba se 33 cestujícími za 1 min. Celkově se tedy na LVH dostane v jednu minutu 62 lidí. Je třeba podotknout, že přesné určení počtu cestujících závisí na mnoha faktorech. V uvedeném počtu nejsou započítány zaměstnanci a lidé, kteří cestují za zábavou či jiným účelem. Data byla poskytnuta LVH.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
! počet metro/min !! počet ost./min !! celkem&lt;br /&gt;
|-&lt;br /&gt;
| 29 osob || 33 osob || '''62 osob'''&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
Důležitou dobou, nutné pro obsloužení každého cestujícího, je BEZPEČTNOSTNÍ KONTOLA (security kontrola) a PASOVÁ KONTROLA.  V obou případech se jedná o místa, kde se scházejí všichni cestující bez rozdílu, zda mají zavazadlo či nikoliv. V tabulce je vidět počet otevřených přepážek na bezpečnostní kontrole a na pasové kontrole, dále pak průměrný výkon za minutu pro každé stanoviště.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
! Typ !! Počet maximálních přepážek !! Výkon přepážky [osoba/min]&lt;br /&gt;
|-&lt;br /&gt;
| Bezpečnostní kontrola || 16 ks || 2&lt;br /&gt;
|-&lt;br /&gt;
| Pasová kontrola || 21 ks || 2&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Pro přehlednost představuji high level schéma:&lt;br /&gt;
[[File:Obrázek1.png|thumb|400px|left||Obr. 1: Schéma]]&lt;br /&gt;
 &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Možnosti rozšíření''': Proces je možné rozšířit i o další dopravní prostředky (vlak, tramvaj) a sledovat nejoptimálnější variantu zavedení dopravy, ale jelikož se dle informaci předpokládá zavedení metra, budu tedy dále pracovat a podrobněji nahlížet na tuto variantu. &lt;br /&gt;
&lt;br /&gt;
'''Data:''' Vycházet budu hlavně s diplomové práce na téma: Analýza způsobů dopravy cestujících na Letiště Václava Havla. &amp;lt;ref name=&amp;quot;pazdro&amp;quot;&amp;gt;&amp;lt;i&amp;gt;PAZDRO, V. ANALÝZA ZPŮSOBŮ DOPRAVY CESTUJÍCÍCH NA&lt;br /&gt;
LETIŠTĚ S VLIVEM NA ODBAVOVACÍ PROCES.&amp;lt;/i&amp;gt; České vysoké učení technické v Praze: Fakulta dopravní [online]. 2018 [cit. 2020-05-14]. Dostupné z: https://dspace.cvut.cz/bitstream/handle/10467/77357/F6-DP-2018-Pazdro-Vladimir-Analyza%20zpusobu%20dopravy%20cestujicich%20na%20letiste%20s%20vlivem%20na%20odbavovaci%20proces.pdf?sequence=-1&amp;amp;isAllowed=y&amp;lt;/ref&amp;gt; V práci autor pracuje s dostupnými a ověřenými statistikami.&lt;br /&gt;
&lt;br /&gt;
'''Odkazy''':&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: Téma v principu velmi zajímavé, líbí se mi, ale není mi úplně jasné, co vlastně chcete přesně simulovat. Nejprve hovoříte o kapacitě metra, pak o tom, jak jsou pasažéři rozptýleni po terminálech... Není mi to moc jasné. To byste měla dopracovat. Co je cílem, tj. jaké výstupy hledáte? Jaké tam budete mít naopak proměnné. Atd. A druhá věc je, zda je na to opravdu nejlepší použít Simprocess. Ale na to nejsem schopen odpovědět právě proto, že to zadání úplně nechápu. [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]]) 22:55, 19 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
Zadání jsem upravila, prosím, zda je to takto v pořádku? [[User:Zurp00|Zurp00]] ([[User talk:Zurp00|talk]]) 11:08, 20 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
: OK, ten model Vám sám o sobě vyjde poměrně jednoduchý. Za přínos ale považuji práci s daty. Zkuste do toho zakomponovat další vstupy (jiné časy než mězi 9-10 a jiné dopravní prostředky). Jinak super. '''Schváleno'''. [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]]) 08:49, 23 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
== Nalezení nejlepší strategie řidičů Taxi ==&lt;br /&gt;
&lt;br /&gt;
'''Název:''' Nalezení nejlepší strategie řidičů Taxi&lt;br /&gt;
&lt;br /&gt;
'''Autor:''' [[User:Zikl00|Zikl00]] ([[User talk:Zikl00|talk]]) 23:23, 14 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
'''Nástroj:''' NetLogo&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu:''' Multiagentní&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu:''' Taxikářská společnost v jednom malém městečku se snaží přizpůsobit strategii svých taxikářů tak, aby zákazníci čekali co nejkratší dobu. Pro přiblížení skutečnosti je město rozděleno na segmenty, kde se zákazníci vyskytují více či méně. Stav dopravní situace v průběhu dne zachycuje běžné rozdělení řidičů na silnici (dopravní špičky ráno a odpoledne, klid v nočních hodinách, atd.). Operátor vypočítá, který taxík bude u zákazníka nejrychleji, a toho k zákazníkovi pošle - do výpočtu se zahrnuje i čas cesty, kterou musí taxík ještě absolvovat se stávajícím pasažérem (vznikne tak jakási jednoduchá fronta). Někteří zákazníci nevydrží čekat, takže si zařídí jiný způsob přepravy. Tímto se zabrání hromadění čekajících zákazníků - simulace nemá zkoumat, kolik zákazníků se podařilo převézt atd., ale jaká je nejvhodnější strategie pro taxikáře ve chvílích, kdy nemají co na práci.&lt;br /&gt;
&lt;br /&gt;
Grafy budou znázorňovat:&lt;br /&gt;
* průměrnou dobu čekání všech zákazníků&lt;br /&gt;
* průměrnou dobu čekání zákazníků, kteří čekali než taxík doveze předchozího pasažéra&lt;br /&gt;
* průměrnou dobu čekání zákazníků, ke kterým taxík hned zamířil - tato skupina taxikářů je pro simulaci nejdůležitější, protože simulace zkoumá, jakou strategii mají řidiči zvolit, když zrovna nevezou pasažéra&lt;br /&gt;
&lt;br /&gt;
'''Agenti:'''&lt;br /&gt;
* Taxikář_1 - po dokončení trasy řidič čeká a místě, dokud nezavolá další zákazník&lt;br /&gt;
* Taxikář_2 - po dokončení trasy řidič náhodně jezdí po mapě&lt;br /&gt;
* Taxikář_3 - po dokončení trasy řidič jede na polohu centroidu, který se průběžně počítá z polohy všech zákazníků, kteří dosud volali operátorovi společnosti&lt;br /&gt;
** Všichni taxikáři mohou také po dovezení pasažéra rovnou zamířit k jinému zákazníkovi, který již čeká.&lt;br /&gt;
&lt;br /&gt;
'''Parametry modelu:'''&lt;br /&gt;
* Počet zákazníků za den (rozloží se do hodin podle taxikářské špičky)&amp;lt;ref name=&amp;quot;TaxiSpicka&amp;quot;&amp;gt;JIANG, Weiwei, LIAN, Jing, SHEN, Max, ZHANG, Lin. &amp;lt;i&amp;gt;A multi-period analysis of taxi drivers' behaviors based on GPS trajectories&amp;lt;/i&amp;gt; [online]. 2017 [cit. 2020-05-14]. Dostupné z: &lt;br /&gt;
https://www.semanticscholar.org/paper/A-multi-period-analysis-of-taxi-drivers%27-behaviors-Jiang-Lian/5032da9586e128838a39cdf2047e44d5452e2744/figure/0&amp;lt;/ref&amp;gt;&amp;lt;ref name=&amp;quot;TaxiTrips&amp;quot;&amp;gt;ZHU, Hengyi. &amp;lt;i&amp;gt;The Data Incubator Capstone Project: NYC Taxi Trips&amp;lt;/i&amp;gt; [online]. 2016 [cit. 2020-05-14]. Dostupné z: &lt;br /&gt;
http://nyc-taxi-trips.herokuapp.com/time&amp;lt;/ref&amp;gt;&lt;br /&gt;
* Počet aut v městečku (rozložení v hodinách se určuje dle poměru z grafu přepravní špičky)&amp;lt;ref name=&amp;quot;PrepravniSpicka&amp;quot;&amp;gt;VOSÁTKA, Dominik. &amp;lt;i&amp;gt;Kvalita nabízených služeb Dopravního podniku hlavního města Prahy, a. s.&amp;lt;/i&amp;gt; [online]. Pardubice, 2014 [cit. 2020-05-14]. Dostupné z: https://dk.upce.cz/bitstream/handle/10195/58906/VosatkaD_KvalitaNabizenych_KP_2014.pdf;jsessionid=F1343FF5C835CEC986D0AC2F4373369E?sequence=3&amp;lt;/ref&amp;gt;&lt;br /&gt;
* Počet Taxikářů 1., 2. a 3. kategorie&lt;br /&gt;
&lt;br /&gt;
'''Možná rozšíření:'''&lt;br /&gt;
* Výpočet spotřeby paliva pro každou strategii&lt;br /&gt;
* ...&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace:''' Výsledky simulace přiblíží, která taxikářská strategie je nejvhodnější pro snížení doby čekání zákazníků. Výhodnost strategií se může lišit i vzhledem k zadaným parametrům.&lt;br /&gt;
&lt;br /&gt;
'''Odkazy''':&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
: Jak by podle Vás vypadal konkrétně pohyb těch aut v modelu? [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]]) 00:20, 20 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
:: Mapa bude pevně daná, auta se budou pohybovat po definovaných spojitých trasách - silnicích. Vzhledem k tomu, že každý bod má své souřadnice, mohu implementovat některý z vyhledávacích algoritmů, jako např. A* nebo Dijkstrův. [[User:Zikl00|Zikl00]] ([[User talk:Zikl00|talk]]) 08:13, 20 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
::: '''Schváleno''' [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]])&lt;br /&gt;
&lt;br /&gt;
== Procesná analýza vychystávania B2C objednávok v logistickom centre [https://skladon.cz Skladon] poskytujúc fulfillment službu pre e-shopy ==&lt;br /&gt;
&lt;br /&gt;
* '''Název simulace:''' Návrh optimalizácie vychystávania objednávok v logistickom centre Skladon&lt;br /&gt;
* '''Autor:''' [[User:Xhalm23|Xhalm23]] ([[User talk:Xhalm23|talk]]) 19:01, 15 May 2020 (CET)&lt;br /&gt;
* '''Typ modelu:''' Diskrétna simulácia&lt;br /&gt;
* '''Modelovací nástroj:''' [http://simprocess.com/ SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu''': Firma Skladon poskytujúca fulfillment služby pre e-shopy potrebuje zanalýzovať a zoptimalizovať proces vychystávania B2C objednávok. V poslednej dobre prudko vzrastol dopyt po tejto službe a firma potrebuje tento proces optimalizovať na troch úrovňiach: &lt;br /&gt;
&lt;br /&gt;
* rýchlosť vychystávania&lt;br /&gt;
* finančné náklady na personál&lt;br /&gt;
* optimalizovanie počtu zamestnancov&lt;br /&gt;
&lt;br /&gt;
Do procesu vychystávania vystupjú tieto sledované entity:&lt;br /&gt;
&lt;br /&gt;
* Picker (Zamestnanec zodpovedný za prinesenie produktov pre konkrétne objednávky k baliacemu pracovisku)&lt;br /&gt;
* Pickovací Vozík (Vozík ktorým picker zbiera produkty pre objednávky. Maximálny poč. objednávok na vozík je 8. Plný vozík Picker nechá pri baliacom pracovisku a vyzme si prázdny)&lt;br /&gt;
* Balič / Baliace pracovisko (Zamestnanec zodpovedný za zkompletovanie objednávky, zabalenie do krabice a nalepenie prepravného štítku. Balič vyprázdni pickovací vozík a pripraví ho na ďalšie použitie)&lt;br /&gt;
* Objednávka (Hlavná entita prechadzajúca procesom od začiatku po koniec.)&lt;br /&gt;
&lt;br /&gt;
Popis procesu: Picker dostane za úlohu vy-pickovať určitý počet objednávok za jeden pickovací cyklus. Vozikom vyzbiera všetky potrebné produkty a privezie vozík k baliacemu pracovisku. Picker si vezme ďalší vozík a odchádza po ďalšie objednávky (Koniec jedného pickovacieho cylku). Proces pokračuje balením. Balič postupne balí všetky produkty do krabice a hotovú zásielku uloží na paletu pre prepravcu. Prázdny košík uloží na miesto odkiaľ si ho ďalší pickery môžu zobrať. &lt;br /&gt;
&lt;br /&gt;
Otázka znie, ako zefektívniť celý proces vychystávania. To znamená, koľko firma potrebuje zamestnancov podieľajúcich sa na tomto procese. Aký je ideálny počet baliacích pracovisk s tým, aby boli všetky využívané. A aký je ideálny počet pickovacích vozíkov, aby picker nemusel čakať a tak zabrániť prestoju s tým, aby počet vychystaných objednávok bol čo najväčší.&lt;br /&gt;
&lt;br /&gt;
'''Metoda''': Model bude zpracovaný pomocou programu SIMPROCESS, ktorý je ideálny na riešenie tejto problematiky.&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace''': Určenie ideálneho počtu zamestnancov podieľajúcich sa na procese. Určenie idálneho počtu pickovacích vozíkov, aby nedochádzalo k prestojom a určenie počtu baliacich pracovísk tak, aby sa maximalizoval počet vychystaných objednávok. &lt;br /&gt;
 &lt;br /&gt;
'''Možnosti rozšíření''': Proces je možné rozšíriť o modifikovanie pickovacích vozíkov (zväčšenie kapacity).&lt;br /&gt;
&lt;br /&gt;
'''Data:''' Dáta pre našu analýzu a optimalizovanie tohto procesu budú reálne dáta zozbierané na prevádzke firmy.&lt;br /&gt;
&lt;br /&gt;
: '''Schváleno''' [[User:Tomáš|Tomáš]] ([[User talk:Tomáš|talk]]) 00:23, 20 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
== Analýza zákaznických preferencí za účelem optimalizace nákupu vstupních surovin pro zajištění kávového cateringu ==&lt;br /&gt;
&lt;br /&gt;
'''Název simulace:''' Catering&lt;br /&gt;
&lt;br /&gt;
'''Autor:''' [[User:Kraj12|Kraj12]] ([[User talk:Kraj12|talk]]) 10:38, 29 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu:''' Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj:''' Microsoft Excel&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu''': Společnost Kafe Entropie &amp;lt;ref name=&amp;quot;kafeentropie&amp;quot;&amp;gt;&amp;lt;i&amp;gt;Komorní sbor Entropie, z.s.. Kafe Entropie.&amp;lt;/i&amp;gt; [online]. 2019 [cit. 2020-05-29]. Dostupné z: https://kafeentropie.cz&amp;lt;/ref&amp;gt; zajišťuje kávový catering pro společenské události, jako jsou svatby, vernisáže, konference ad. Na každé akci se vyskytuje určité předem známé množství lidí, potenciálních zákazníků, a Ti si mohou objednat jakýkoli z řady nabízených kávových nápojů. Cílem je uspokojit poptávku a současně dosáhnout co nejměnšího přebytku vstupních surovin, které rychle podléhají skáze a přezásobení tedy snižuje výnosnost podniku. &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Metoda''': Model bude zpracován v rámci programu Microsoft Excel. Vstupem modelu bude nahlášený počet účastníků události a výstupem doporučený objem vstupních surovin. Významnou součástí bude analýza dostupných dat o objednávkách z již uskutečněných akcí, na základě které bude stanovena predikce objednávek budoucích.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace''': Vytvořit funkční model, který určí potřebný objem nákupu vstupních surovin, který bude současně optimální. Tím dojde k výraznému snížení zátěže při přípravě, kdy i přes praktické zkušenosti dochází k odchylkám, neboť nikdo nechce procházet tisíce řádků se záznamy o objednávkách, a tak dochází k posouzení četnosti objednávek spíše podle vlastních chutí.&lt;br /&gt;
Zákazníci si mají možnost objednat z následujícího seznamu nápojů. Pro každý z nich je uveden i objem vstupních surovin.&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
! nápoj !! surovina/káva [g] !! surovina/mléko [ml] !! surovina/voda [ml]&lt;br /&gt;
|-&lt;br /&gt;
| espresso || 9 || 0 || 50&lt;br /&gt;
|-&lt;br /&gt;
| double espresso || 18 || 0 || 70&lt;br /&gt;
|-&lt;br /&gt;
| americano || 18 || 0 || 140&lt;br /&gt;
|-&lt;br /&gt;
| cappuccino || 9 || 160 || 50&lt;br /&gt;
|-&lt;br /&gt;
| flat white || 18 || 140 || 70&lt;br /&gt;
|-&lt;br /&gt;
| caffé latté || 9 || 250 || 50&lt;br /&gt;
|-&lt;br /&gt;
| macchiato || 9 || 80 || 50&lt;br /&gt;
|-&lt;br /&gt;
| batch brew || 18 || 0 || 280&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
Dále je nutné započítat spotřebu surovin pro nastavení mlýnku, a to:&lt;br /&gt;
* iniciální nastavení: 200g kávy, 1000ml vody&lt;br /&gt;
* pravidelné ladění: 60g kávy, 140ml vody za každých 30 vydaných káv&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Možnosti rozšíření''': V případě, že se model osvědčí, bude na místě ho rozšířit také o predikci prodeje jídla.  &lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Data''': Jako zdrojová data budou použity skutečné záznamy o objednávkách z již uskutečněných akcí.&lt;br /&gt;
&lt;br /&gt;
&lt;br /&gt;
'''Odkazy''':&lt;br /&gt;
&amp;lt;references/&amp;gt;&lt;br /&gt;
&lt;br /&gt;
:: Téma jako takové je dobré, jen ho je třeba obohatit o dimenzi peněz, tedy nákady vs výnosy, což by mělo být tím finálním měřítkem pro optimalizaci. Stěžejní je i to odvození pravděpodnobnostních rozdělení, ze kterých se budou generovat náhodné veličiny (poptávka po různých typech kávy) - je potřeba to pak dobře zdokumentovat v reportu, který je součástí simulace. '''Schváleno'''. [[User:Oleg.Svatos|Oleg.Svatos]] ([[User talk:Oleg.Svatos|talk]]) 09:12, 31 May 2020 (CET)&lt;br /&gt;
&lt;br /&gt;
== Simulace přemnožených hrabošů ==&lt;br /&gt;
'''Název simulace:''' Simulace plošného trávení přemnožených hrabošů a následného vlivu na dravce, kteří se jimi živí&lt;br /&gt;
&lt;br /&gt;
'''Autor:''' Josef Čekan&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu:''' Multiagentní&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj:''' NetLogo&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu:''' V roce 2019 došlo z důvodu proběhnuvší mírné zimy v České republice k přemnožení hraboše polního. Jak již z jejich názvu vyplývá, životním prostředím jsou mu především pole. Jejich přemnožení tak trápilo především zemědělce, potažmo také okolní obyvatele. Zemědělce trápila škoda na jejich produkci a okolní obyvatele spíše strach z jejich posezonního přesídlení do vesnic a měst z důvodu možnosti přenášení různých chorob a působení škod na majetku. Nakonec bylo přistoupeno k povolení plošného trávení hrabošů na území České republiky. &lt;br /&gt;
&lt;br /&gt;
Díky vysokému množství hrabošů v přírodě se dařilo posílit svou populaci také dravcům, jelikož jim jsou drobní hlodavci potravou. Tento fakt se tak stal také jedním z hlavních argumentů v diskuzi o tom, zda umožnit trávení přemnožených hrabošů, a to především z toho důvodu, že by tak mohlo být ohroženo více druhů zvířat než přemnožení hraboši. A to včetně těch, které jsou v České republice čím dál vzácnější.&lt;br /&gt;
&lt;br /&gt;
'''Cílem modelu''' Sledovat vývoj situace v čase při různém nastavení parametrů a zjištění důležitosti kritérií pro přežití jednotlivých druhů.&lt;br /&gt;
&lt;br /&gt;
'''Parametry modelu:'''&lt;br /&gt;
* Množství rozmístěného jedu na území&lt;br /&gt;
* Pravděpodobnost otravy dravce skrze konzumaci otráveného hraboše&lt;br /&gt;
* Počáteční množství dravců na území&lt;br /&gt;
* Počáteční množství hrabošů na území&lt;br /&gt;
&lt;br /&gt;
'''Možnosti rozšíření:'''&lt;br /&gt;
&lt;br /&gt;
* Možnost zahrnutí biomu polí s potravou pro hraboše, čímž by se model případně také mohl rozšířit o míru způsobené škody pro zemědělce.&lt;br /&gt;
&lt;br /&gt;
== Simulace provozu veterinární kliniky ==&lt;br /&gt;
'''Název simulace:''' Simulace provozu veterinární kliniky&lt;br /&gt;
&lt;br /&gt;
'''Autor:''' Dmitry Borodin&lt;br /&gt;
&lt;br /&gt;
'''Typ modelu:''' Diskrétní simulace&lt;br /&gt;
&lt;br /&gt;
'''Modelovací nástroj:''' [http://simprocess.com/ SIMPROCESS]&lt;br /&gt;
&lt;br /&gt;
'''Popis modelu:''' Předmětem tohoto modelu je simulace veterinární kliniky s nepřetržitým provozem. Klinika má 5 pracovních míst pro ošetření a 3-5 veterinářů (zaleží na zatížeností a časovém intervalu). Každý veterinář má asistenta. Ošetření může být provedeno veterinářem, asistentem nebo veterinářem a asistentem spolu. Před samotným ošetřením klient musí se zaregistrovat – v případě nového klienta, proces registrace trvá delší dobu. V případě pacienta, který je v kritickém stavu, registrace není nutná. &lt;br /&gt;
Entity:&lt;br /&gt;
* Veterinář&lt;br /&gt;
* Asistent&lt;br /&gt;
* Administrátor&lt;br /&gt;
* Pracovní místo&lt;br /&gt;
&lt;br /&gt;
'''Cíl simulace:''' &lt;br /&gt;
* nalezení optimálního počtu zaměstnanců v době běžného provozu&lt;br /&gt;
* snížení nákladů na personál kliniky&lt;br /&gt;
* snížení počtu zákazníků, čekajících ve frontě a zákazníků, které rozhodli odejit po určité době čekání&lt;br /&gt;
&lt;br /&gt;
'''Možnosti rozšíření:''' nalezení optimálního počtu zaměstnanců v nestandardních časových intervalech (víkendy, svátky), doplnění procesu o sonografické vyšetření, RTG snímek, vyšetření krve.&lt;br /&gt;
&lt;br /&gt;
'''Data:''' reálná data, získána od přítelkyně, která pracovala 3 roky na pozici asistenta a nyní pracuje jako veterinář (v Rusku).&lt;/div&gt;</summary>
		<author><name>Dmitry Borodin</name></author>
		
	</entry>
</feed>