Distribuovaná optimalizace a statistické učení pomocí metody násobičů se střídavým směrem

Původní název:

Distributed Optimization and Statistical Learning Via the Alternating Direction Method of Multipliers

Obsah knihy:

Mnoho problémů, které v poslední době zajímají statistiku a strojové učení, lze řešit v rámci konvexní optimalizace. Vzhledem k explozi velikosti a složitosti moderních souborů dat je stále důležitější umět řešit problémy s velmi velkým počtem rysů nebo trénovacích příkladů.

V důsledku toho jsou jak decentralizovaný sběr nebo ukládání těchto datových sad, tak doprovodné distribuované metody řešení buď nezbytné, nebo alespoň velmi žádoucí. Distribuovaná optimalizace a statistické učení pomocí metody násobičů se střídavým směrem tvrdí, že metoda násobičů se střídavým směrem je vhodná pro distribuovanou konvexní optimalizaci, a zejména pro rozsáhlé problémy vznikající ve statistice, strojovém učení a příbuzných oblastech. Metoda byla vyvinuta v 70.

letech 20. století, její kořeny sahají do 50.

let 20. století, a je ekvivalentní nebo úzce příbuzná mnoha dalším algoritmům, jako je duální rozklad, metoda násobitelů, Douglasovo-Rachfordovo rozdělení, Spingarnova metoda parciálních inverzí, Dykstrovy střídavé projekce, Bregmanovy iterační algoritmy pro ℓ. 1 problémy, proximální metody a další.

Po stručném přehledu teorie a historie algoritmu se zabývá aplikacemi na širokou škálu statistických problémů a problémů strojového učení z poslední doby, včetně lasa, řídké logistické regrese, hledání báze, výběru kovariance, strojů s podpůrnými vektory a mnoha dalších. Pojednává také o obecné distribuované optimalizaci, rozšíření na nekonvexní prostředí a efektivní implementaci, včetně některých podrobností o distribuovaných implementacích MPI a Hadoop MapReduce.