DAGs. Az Airflow-ban a DAG – vagy egy irányított aciklikus grafikon – az összes futtatni kívánt feladat gyűjteménye, oly módon rendezve, hogy tükrözze kapcsolataikat és függőségeiket.
Hogyan készíthetsz DAG-okat az Airflow-ban?
A DAG létrehozásához az Airflow-ban mindig importálnia kell a DAG osztályt A DAG osztály után következzen az Operátorok importálása. Alapvetően minden egyes használni kívánt operátorhoz el kell végeznie a megfelelő importálást. Például, ha Python függvényt szeretne végrehajtani, importálnia kell a PythonOperatort.
Hol keresi az Airflow a DAG-okat?
Az Airflow a a DAGS_FOLDER mappában keresi azokat a modulokat, amelyek globális névterében DAG objektumokat tartalmaznak, és hozzáadja a talált objektumokat a DagBag-ban.
Hogyan tárolja az Airflow a DAG-okat?
Apache Airflow metaadatbázis:
A metaadat-adatbázis konfigurációkat tárol, például változókat és kapcsolatokat A felhasználói információkat, szerepköröket és házirendeket is tárolja. Végül az ütemező elemzi az összes DAG-t, és tárolja a releváns metaadatokat, például az ütemezési intervallumokat, az egyes futtatások statisztikáit és a feladataikat.
Az Airflow ETL-eszköz?
Az Airflow önmagában nem ETL-eszköz. De az ETL-folyamatokat az irányított aciklikus gráfok (DAG) segítségével kezeli, strukturálja és szervezi. … A metaadat adatbázis munkafolyamatokat/feladatokat (DAG) tárol.
