Učení posilováním, druhé vydání: Posilování, druhé vydání, úvod

Recenze čtenářů

Kniha je všeobecně považována za základní zdroj informací pro nadšence a profesionály v oblasti posilování učení (RL). Je oceňována pro svou hloubku, srozumitelnost, dobře strukturovaná cvičení a pedagogický přístup, díky němuž je přístupná i těm, kteří mají jen mírné matematické vzdělání. Kritika se však zaměřuje na nekonzistentní kvalitu tisku, zejména u vydání, která nejsou přímo z nakladatelství MIT Press, a na obavy ohledně její vhodnosti pro úplné začátečníky v oboru.

⬤ Komplexní pokrytí posilování učení
⬤ dobře strukturovaná a důkladná cvičení
⬤ srozumitelná vysvětlení
⬤ dobrá kvalita tisku ve výtiscích prodávaných přímo MIT Press
⬤ užitečné pro různé úrovně znalostí (zejména pro ty, kteří mají určité předchozí znalosti)
⬤ zahrnuje mezioborové souvislosti s psychologií a neurovědou.

⬤ Nekonzistentní kvalita tisku, zejména u prodejců třetích stran
⬤ nevhodný jako úvodní text pro úplné začátečníky
⬤ některé části jsou matematicky náročné
⬤ historický obsah mohou někteří čtenáři považovat za zbytečný
⬤ v některých výtiscích byly zaznamenány drobné redakční chyby.

(na základě 115 hodnocení čtenářů)

Původní název:

Reinforcement Learning, Second Edition: An Introduction

Obsah knihy:

Významně rozšířené a aktualizované nové vydání široce používaného textu o posilování učení, jedné z nejaktivnějších oblastí výzkumu v oblasti umělé inteligence.

Posilovací učení, jedna z nejaktivnějších oblastí výzkumu v umělé inteligenci, je počítačový přístup k učení, při němž se agent snaží maximalizovat celkovou výši odměny, kterou obdrží při interakci se složitým, nejistým prostředím. Richard Sutton a Andrew Barto v knize Reinforcement Learning přehledně a jednoduše popisují klíčové myšlenky a algoritmy této oblasti. Toto druhé vydání bylo výrazně rozšířeno a aktualizováno, představuje nová témata a aktualizuje pokrytí jiných témat.

Stejně jako první vydání se i toto druhé vydání zaměřuje na základní algoritmy online učení, přičemž matematický materiál je vyčleněn ve stínovaných rámečcích. První část pokrývá co nejvíce z posilování učení, aniž by překračovala tabulkový případ, pro který lze nalézt přesná řešení. Mnoho algoritmů představených v této části je ve druhém vydání nových, včetně UCB, Expected Sarsa a Double Learning. Část II rozšiřuje tyto myšlenky na aproximaci funkcí o nové části věnované například umělým neuronovým sítím a Fourierově bázi a nabízí rozšířené pojednání o učení mimo politiku a o metodách policy-gradient. Část III obsahuje nové kapitoly o vztahu posilovacího učení k psychologii a neurovědám a také aktualizovanou kapitolu o případových studiích, včetně AlphaGo a AlphaGo Zero, hraní her Atari a sázkové strategie IBM Watson. Závěrečná kapitola se zabývá budoucími společenskými dopady posilování učení.