Učení s posilováním a stochastická optimalizace: Sjednocený rámec pro sekvenční rozhodování

Recenze čtenářů

Kniha je charakterizována jako komplexní a důkladný průvodce stochastickým dynamickým programováním a posilováním učení, vhodný pro odborníky v operačním výzkumu. Úspěšně propojuje různé oblasti včetně posilování učení a teorie řízení a zároveň poskytuje jednotný rámec pro sekvenční rozhodování. Trpí však četnými překlepy a stylem psaní, který může někomu připadat zmatený.

⬤ Komplexní pokrytí koncepcí sekvenčního rozhodování.
⬤ Dobře napsané a přístupné pro čtenáře z různých oborů.
⬤ Efektivně propojuje různé oblasti a nabízí cenné poznatky.
⬤ Poskytuje jednotný rámec pro různé komunity zabývající se sekvenčním rozhodováním.
⬤ Užitečná cvičení a dobrá reference pro odborníky.

⬤ Vysoký počet překlepů a pochybné volby zápisu.
⬤ Chybí odvození některých matematických výsledků, což vyžaduje, aby si čtenáři sami ověřili nebo znovu odvodili.
⬤ Styl psaní může být pro někoho složitý, takže čtení je únavné.
⬤ Obsah je silně zaměřen na operační výzkum, což může odradit zájemce z jiných oborů, například strojového učení.

(na základě 12 hodnocení čtenářů)

Původní název:

Reinforcement Learning and Stochastic Optimization: A Unified Framework for Sequential Decisions

Obsah knihy:

POSILOVÁNÍ UČENÍ A STOCHASTICKÁ OPTIMALIZACE

Pročišťování džungle stochastické optimalizace

Problémy sekvenčního rozhodování, které se skládají z "rozhodnutí, informace, rozhodnutí, informace", jsou všudypřítomné a pokrývají prakticky všechny lidské činnosti od obchodních aplikací, zdravotnictví (osobní a veřejné zdraví a lékařské rozhodování), energetiku, přírodní vědy, všechny oblasti inženýrství, finance a elektronický obchod. Rozmanitost aplikací přitáhla pozornost nejméně 15 různých oblastí výzkumu, které používají osm různých notačních systémů, jež vytvořily obrovskou škálu analytických nástrojů. Vedlejším produktem je, že výkonné nástroje vyvinuté v jedné komunitě mohou být pro jiné komunity neznámé.

Učení s posilováním a stochastická optimalizace nabízí jediný kanonický rámec, který může modelovat jakýkoli sekvenční rozhodovací problém pomocí pěti základních komponent: stavových proměnných, rozhodovacích proměnných, exogenních informačních proměnných, přechodové funkce a účelové funkce. Tato kniha upozorňuje na dvanáct typů nejistot, které mohou vstupovat do jakéhokoli modelu, a shrnuje rozmanitý soubor metod pro rozhodování, známých jako politiky, do čtyř základních tříd, které zahrnují všechny metody navrhované v odborné literatuře nebo používané v praxi.

Reinforcement Learning and Stochastic Optimization je první knihou, která vyváženě pojednává o různých metodách modelování a řešení sekvenčních rozhodovacích problémů, a to ve stylu, který používá většina knih o strojovém učení, optimalizaci a simulaci. Výklad je určen čtenářům s kurzem pravděpodobnosti a statistiky a se zájmem o modelování a aplikace. Lineární programování je příležitostně použito pro specifické třídy problémů. Kniha je určena jak čtenářům, kteří se v oboru teprve seznamují, tak i těm, kteří mají určité zkušenosti s optimalizací za neurčitosti.

V této knize čtenáři najdou odkazy na více než 100 různých aplikací, které zahrnují čisté problémy učení, dynamické problémy alokace zdrojů, obecné problémy závislé na stavu a hybridní problémy učení a alokace zdrojů, jako například ty, které vznikly v pandemii COVID. V knize je 370 cvičení rozdělených do sedmi skupin, od přehledových otázek, přes modelování, výpočty, řešení problémů, teorii, programovací cvičení až po "deníkový problém", který si čtenář vybere na začátku knihy a který slouží jako základ pro otázky v celém zbytku knihy.