Datové potrubí s Apache Airflow

Recenze čtenářů

Knihu lze vřele doporučit jako komplexní zdroj informací pro studium a používání Apache Airflow, který efektivně pokrývá základní i pokročilá témata. Struktura umožňuje čtenářům rychle pochopit základy a zároveň poskytuje hluboké informace pro zkušené praktiky. Bylo však zaznamenáno, že diskuse o bezpečnosti jsou odloženy až na pozdější část, což někteří čtenáři považují za znepokojující.

Podrobné vysvětlení, zahrnuty osvědčené postupy, přizpůsobitelné příklady kódu, pokrývá základy i pokročilá témata, dobře napsané a strukturované, vynikající pro nováčky i zkušené uživatele, obsahuje praktické recepty a realistické příklady, slouží jako skvělá příručka.

Bezpečnostní témata jsou v knize řešena až na konci (strana 322), někteří čtenáři mají pocit, že mohou postrádat bezprostřední praktické tipy pro aplikace na pracovišti.

(na základě 12 hodnocení čtenářů)

Původní název:

Data Pipelines with Apache Airflow

Obsah knihy:

Datové potrubí s Apache Airflow vás naučí, jak vytvářet a udržovat efektivní datové potrubí.

Shrnutí

Úspěšná pipeline efektivně přesouvá data, minimalizuje pauzy a blokace mezi úlohami a udržuje všechny procesy na cestě v provozu. Apache Airflow poskytuje jediné přizpůsobitelné prostředí pro vytváření a správu datových potrubí, čímž eliminuje potřebu nesourodé sbírky nástrojů, sněhových vloček kódu a domácích procesů. Kniha Data Pipelines with Apache Airflow vás na základě reálných scénářů a příkladů naučí, jak zjednodušit a automatizovat datové pipelines, snížit provozní režii a hladce integrovat všechny technologie ve vašem zásobníku.

Zakoupení tištěné knihy zahrnuje bezplatnou elektronickou knihu ve formátech PDF, Kindle a ePub od Manning Publications.

O technologii

Datové potrubí řídí tok dat od počátečního sběru přes konsolidaci, čištění, analýzu, vizualizaci a další činnosti. Apache Airflow poskytuje jedinou platformu, kterou můžete používat k návrhu, implementaci, monitorování a údržbě datových potrubí. Díky snadno použitelnému uživatelskému rozhraní, možnostem plug-and-play a flexibilnímu skriptování v jazyce Python je Airflow ideální pro jakoukoli úlohu správy dat.

O knize

Datové potrubí s Apache Airflow vás naučí, jak vytvářet a udržovat efektivní datové potrubí. Prozkoumáte nejběžnější způsoby použití, včetně agregace více zdrojů dat, připojení k datovým jezerům a z nich a nasazení v cloudu. Tento praktický průvodce, který je zčásti referencí a zčásti výukovým materiálem, se zabývá všemi aspekty směrovaných acyklických grafů (DAG), které pohánějí Airflow, a tím, jak je přizpůsobit potřebám vaší pipeline.

Co je uvnitř

Sestavujte, testujte a nasazujte potrubí Airflow jako DAG.

Automatizujte přesouvání a transformaci dat.

Analyzujte historické datové sady pomocí zpětného plnění.

Vyvíjejte vlastní komponenty.

Nastavte Airflow v produkčních prostředích.

O čtenáři

Pro DevOps, datové inženýry, inženýry strojového učení a sysadminy se středně pokročilou znalostí jazyka Python.

O autorovi

Bas Harenslak a Julian de Ruiter jsou datoví inženýři s rozsáhlými zkušenostmi s používáním Airflow při vývoji potrubí pro velké společnosti. Bas je také členem revizní komise Airflow.

Obsah

ČÁST 1 - ZAČÍNÁME.

1 Seznamte se s Apache Airflow.

2 Anatomie DAG Airflow.

3 Plánování v Airflow.

4 Šablonování úloh pomocí kontextu Airflow.

5 Definování závislostí mezi úlohami.

ČÁST 2 - NAD RÁMEC ZÁKLADŮ.

6 Spouštění pracovních postupů.

7 Komunikace s externími systémy.

8 Vytváření vlastních komponent.

9 Testování.

10 Spouštění úloh v kontejnerech.

ČÁST 3 - PROUDĚNÍ VZDUCHU V PRAXI.

11 Osvědčené postupy.

12 Provozování Airflow ve výrobě.

13 Zabezpečení Airflow.

14 Projekt: Hledání nejrychlejší cesty po New Yorku.

ČÁST 4 - V OBLACÍCH.

15 Airflow v oblacích.

16 Airflow na AWS.

17 Airflow v prostředí Azure.

18 Airflow v GCP.