User:Lans06

Definice problému

Klasické podmiňování popsal ruský fyziolog a psycholog Ivan Petrovič Pavlov na počátku 20. století. Ve svých experimentech ukázal, že pes se může naučit reagovat na původně neutrální podnět (např. zvuk zvonku) tím, že jej opakovaně spojí s nepodmíněným podnětem (např. jídlem). Výsledkem tohoto učení je vznik tzv. podmíněné reakce – pes začne slinit i při samotném zaznění zvonku, bez přítomnosti jídla. Simulace má za cíl zobrazit, jak se mění míra naučenosti reakce (síla asociace) v závislosti na opakování podnětů a přítomnosti/nepřítomnosti posílení.

Metoda

Pro simulaci byl zvolen přístup systémové dynamiky ve Vensim, který umožňuje sledovat, jak se v čase mění síla asociace mezi podmíněným podnětem (zvonkem) a nepodmíněným podnětem (jídlem). Jde o zjednodušený model klasického podmiňování, kde hlavní proměnná představuje míru naučenosti, tedy jak pravděpodobně pes zareaguje sliněním na zvuk zvonku. Vlivem opakovaného posilování (zvonek + jídlo) se tato proměnná zvyšuje, při absenci jídla klesá (extinkce). Model umožňuje sledovat, jak se tato míra mění v čase při různých scénářích, a je založen na známém Rescorla-Wagnerově modelu učení.

Model

Simulovaný model vychází z Rescorla-Wagnerova modelu (ΔV = α × β × (λ − V)). Hlavní proměnnou je síla asociace (V) mezi podmíněným podnětem (zvonek) a nepodmíněným podnětem (jídlo). Tato proměnná se mění v čase vlivem přítomnosti podnětů, frekvence posilování, parametrů učení a počtu extinkčních pokusů.

Struktura modelu

Základní logika modelu vychází ze dvou odlišných větví – posilování a extinkce:

• Pozitivní zpětná vazba – posilování

Pokud se pes opakovaně setkává se spárováním zvonku a jídla, dochází k nárůstu hodnoty ΔV (změna síly asociace). Tato změna je ovlivněna následujícími faktory:

• α – salience podmíněného podnětu (intenzita vnímání zvonku),
• β – míra učení (snižuje se při vyšším zpoždění mezi zvonkem a jídlem),
• λ – maximální možná síla asociace,
• V – síla asociace (čím vyšší, tím menší ΔV).

Kombinace těchto parametrů ovlivňuje ΔV, která následně mění hodnotu V. Vyšší hodnota V zvyšuje pravděpodobnost, že pes bude slinit při zaznění zvonku.

• Negativní zpětná vazba – extinkce

Pokud dochází k opakovanému výskytu zvonku bez následného podání jídla, navyšuje se počet extinkčních pokusů. Tyto situace snižují ΔV, což vede k postupnému poklesu síly asociace, a tím i ke snižování pravděpodobnosti podmíněné reakce.

Náhodné proměnné

• Pravděpodobnost výskytu jídla po zvonku – určuje, zda konkrétní pokus bude posilující (zvonek + jídlo) nebo extinkční (zvonek bez jídla), ovlivněna frekvencí posilování.
• Reakce (slinění) – pravděpodobnostní odpověď na zaznění zvonku, její náhodně generována pomocí beta rozdělení na základě V, čím vyšší V, tím pravděpodobnější a silnější je reakce.

Vstupy modelu

Model je řízen následujícími parametry, které lze upravovat:

• Frekvence posilování,
• Aktuální expozice – binární pomocná proměnná, která určuje, zda právě probíhá pokus (1 = přítomnost podnětu, 0 = nepřítomnost podnětu),
• Zpoždění mezi podněty – ovlivňuje β.

CLD

Obrázek 1: CLD (Zdroj: Autor)

SFD

Obrázek 2: SFD (Zdroj: Autor)

Proměnné modelu

• síla asociace (V) = INTEG (Změna síly asociace, 0)
• Změna síly asociace = IF THEN ELSE(zvonek + jídlo = 1, saliance podmíněného podnětu (α)*Míra učení (β)* (Maximální síla asociace (λ) - V), IF THEN ELSE( zvonek bez jídla = 1, *saliance podmíněného podnětu (α)* Míra učení (β) * (0 - V),0))
• citlivost = 1
• saliance podmíněného podnětu (α) = citlivost * reakce (slinění)
• Míra učení (β) = MAX(0, 1 - zpoždění / 5)
• Maximální síla asociace (λ) = 1
• zpoždění podmětu= 2
• frekvence posilování = 0.75
• pravděpodobnost výskytu jídla po zvonku = IF THEN ELSE(aktuální expozice = 1, frekvence posilování, 0)
• zvonek + jídlo = IF THEN ELSE(RANDOM UNIFORM(0,1,101) < pravděpodobnost výskytu jídla po zvonku)
• zvonek bez jídla = IF THEN ELSE(RANDOM UNIFORM(0,1,202) >= pravděpodobnost výskytu jídla po zvonku)
• aktuální expozice = PULSE TRAIN(1, 1, 10, 300)
• pravděpodobnost slinění při zvonku = V
• reakce (slinění) = RANDOM BETA(0, 1, MAX(1, pravděpodobnost slinění při zvonku * 10), MAX(1, (1 - pravděpodobnost slinění při zvonku) * 10), 0, 1, 303)
• UNITS FOR TIME = Second
• INITIAL TIME = 0
• FINAL TIME = 100
• TIME STEP = 1

Výsledky

Při spuštění simulace se síla asociace mezi zvonkem a jídlem postupně zvyšovala, ale ne zcela plynule – občas klesla, zejména tehdy, když zazněl zvonek bez následného podání jídla. To odpovídá reálnému procesu učení, kdy pes posiluje reakci jen tehdy, pokud je podnět spojen s odměnou. Reakce (slinění) byla na začátku nízká, protože pes ještě nebyl naučený, ale s rostoucí asociací se začala objevovat častěji a silněji. Hodně kolísala, protože je ovlivněná náhodou (byla použita pravděpodobnostní funkce, pro lepší přiblížení k realitě). Saliance podnětu (alfa) se taky měnila podle toho, jak silná byla reakce. Čím silněji pes reagoval, tím víc si všímal zvonku. Celkově se model choval podle očekávání, když pes slyší zvonek a dostane jídlo, učí se, a když jídlo chybí, začíná zapomínat.

• 

  Obrázek 3: Síla asociace (Zdroj: Autor)

• 

  Obrázek 4: Změna síly asociace (Zdroj: Autor)

• 

  Obrázek 5: Reakce (slinění) (Zdroj: Autor)

• 

  Obrázek 6: Saliance podmíněného podnětu (α) (Zdroj: Autor)

Při zvýšení frekvence posilování na 85 % a 100 % se síla asociace zvyšovala rychleji, ale celkový průběh měl podobný tvar jako u 75 %. Lišil se hlavně v tom, že hodnota V dosáhla o něco vyšších hodnot. Výraznější rozdíl nastal při snížení frekvence na 50 %, kde byla síla asociace znatelně nižší a objevovalo se více negativních změn ΔV. To vedlo k tomu, že pes se sice chvíli učil, ale reakce postupně slábla, což odpovídá procesu vyhasínání. Když se frekvence posilování snížila ještě víc, reakce začala téměř mizet, protože většina zvukových podnětů nebyla následovaná odměnou.

• 

  Obrázek 7: Síla asociace pro frekvenci 50 % (Zdroj: Autor)

• 

  Obrázek 8: Změna síly asociace pro frekvenci 50 % (Zdroj: Autor)

• 

  Obrázek 9: Reakce (slinění) pro frekvenci 50 % (Zdroj: Autor)

• 

  Obrázek 10: Saliance podmíněného podnětu (α) pro frekvenci 50 % (Zdroj: Autor)

Při zachování frekvence posilování na 75 % a zvýšení zpoždění mezi zvonkem a jídlem na 4 sekundy, síla asociace rostla znatelně pomaleji. Změny ΔV byly menší a méně časté než při kratším zpoždění. To je dané tím, že vyšší zpoždění snižuje míru učení β. Výsledkem je, že i když pes dostává jídlo, kvůli opoždění to méně propojuje se zvukem, a proto se učí pomaleji. Asociace tak roste, ale s menší intenzitou a s delšími obdobími stagnace.

• 

  Obrázek 11: Síla asociace pro zpoždění 4 sekundy (Zdroj: Autor)

• 

  Obrázek 12: Změna síly asociace pro zpoždění 4 sekundy (Zdroj: Autor)

Závěr

V této simulaci byl vytvořen jednoduchý model klasického podmiňování podle Pavlova experimentu, který vychází z Rescorla-Wagnerovy rovnice. V simulace se sledovalo, jak se postupně mění síla asociace mezi podmíněným podnětem (zvonek) a nepodmíněným podnětem (jídlo). Výsledky ukázaly, že pokud je spojení pravidelně posilováno, síla asociace roste. Naopak, když zvonek není následován jídlem, začne asociace vyhasínat. Také se potvrdilo, že vyšší frekvence posilování vede k rychlejšímu a silnějšímu učení, zatímco snížená frekvence nebo větší zpoždění mezi podněty učení zpomalují. Chování modelu odpovídá známým experimentálním poznatkům z oblasti behaviorální psychologie, a proto ho lze považovat za smysluplnou simulaci základního principu učení.

Kód

File:Simulace pes.zip

Zdroje

• Pavlov – Lecture 18 (Conditioned Reflexes, 1927)
• Wikipedia – Classical Conditioning
• Simply Psychology – Pavlov’s Dogs
• vCalc – Rescorla-Wagner model (alpha and beta version)
• Rescorla&Wagner – A theory of Pavlovian conditioning: Variations in the effectiveness of reinforcement and nonreinforcement