Přibližný dynamický program

Recenze čtenářů

Kniha poskytuje srozumitelný a čtivý úvod do posilování učení a dynamického programování, takže je vhodná pro samostudium. Efektivně vysvětluje pojmy a nabízí dobré příklady. Někteří čtenáři však zaznamenali problémy s verzí pro Kindle a upřednostnění odlišného zápisu oproti jiným textům.

⬤ Velmi čtivé a jasné vysvětlení
⬤ poskytuje dobrý přehled o reinforcement learningu a dynamickém programování
⬤ obsahuje užitečné příklady a tipy pro implementaci
⬤ dobře se hodí pro začátečníky.

Problémy s formátováním verze pro Kindle; notace se liší od Bertsekasových prací, což může některé čtenáře mást.

(na základě 7 hodnocení čtenářů)

Původní název:

Approximate Dynamic Programmin

Obsah knihy:

Chvála prvního vydání

"Konečně kniha věnovaná dynamickému programování a napsaná jazykem operačního výzkumu (OR) Tato krásná kniha zaplňuje mezeru v knihovnách odborníků a praktiků OR.".

-- Computing Reviews

V tomto novém vydání je patrné zaměření na modelování a výpočty složitých tříd aproximativních problémů dynamického programování.

Porozumění aproximativnímu dynamickému programování (ADP) je nezbytné pro vývoj praktických a kvalitních řešení složitých průmyslových problémů, zejména pokud tyto problémy zahrnují rozhodování za přítomnosti nejistoty. Druhé vydání knihy Přibližné dynamické programování jedinečným způsobem integruje čtyři odlišné disciplíny - Markovovy rozhodovací procesy, matematické programování, simulaci a statistiku - a ukazuje, jak úspěšně přistupovat k řešení široké škály reálných problémů pomocí ADP, jak je modelovat a řešit.

Kniha nadále překlenuje propast mezi informatikou, simulací a operačním výzkumem a nyní přejímá notaci a slovník posilování učení, jakož i stochastického vyhledávání a simulační optimalizace. Autor nastiňuje základní algoritmy, které slouží jako východisko při návrhu praktických řešení reálných problémů. Jsou představeny tři prokletí dimenzionality, která ovlivňují složité problémy, a podrobně jsou popsány problémy při implementaci. Druhé vydání obsahuje také:

⬤ Novou kapitolu popisující čtyři základní třídy politik pro práci s různými stochastickými optimalizačními problémy: myopické politiky, politiky s výhledem dopředu, aproximace funkcí politik a politiky založené na aproximacích hodnotových funkcí.

⬤ Nová kapitola o vyhledávání politik, která spojuje koncepty stochastického vyhledávání a simulační optimalizace a představuje novou třídu optimálních strategií učení.

⬤ Aktualizované pokrytí problému využití průzkumu v ADP, nyní včetně nedávno vyvinuté metody aktivního učení za přítomnosti fyzikálního stavu s využitím konceptu gradientu znalostí.

⬤ Nová sekvence kapitol popisující statistické metody pro aproximaci hodnotových funkcí, odhad hodnoty pevně stanovené politiky a aproximaci hodnotových funkcí při hledání optimálních politik.

Předkládané pokrytí ADP klade důraz na modely a algoritmy, zaměřuje se na související aplikace a výpočty a zároveň probírá teoretickou stránku tématu, která zkoumá důkazy konvergence a rychlosti konvergence. Související webová stránka obsahuje průběžnou diskusi o rozvíjejících se oblastech aproximačního dynamického programování a posilovacího učení spolu s další četbou, softwarem a soubory dat.

Aproximované dynamické programování, druhé vydání, vyžaduje pouze základní znalosti statistiky a pravděpodobnosti a je vynikající knihou pro kurzy průmyslového inženýrství a operačního výzkumu na vyšším stupni vysokoškolského studia a pro absolventy. Poslouží také jako cenná příručka pro výzkumné pracovníky a odborníky, kteří využívají dynamické programování, stochastické programování a teorii řízení k řešení problémů při své každodenní práci.