kicsinyítés zellerrel¶

CeleryExecutor ez az egyik módja annak, hogy skálázzuk a munkavállalók számát. Ehhez be kell állítanod egy zeller háttérprogramot (RabbitMQ, Redis,…), és módosítanod kell a airflow.cfg – et, hogy az executor paraméterCeleryExecutor – re mutasson, és megadd a kapcsolódó zeller beállításokat.

a Zellerbróker felállításával kapcsolatos további információkért lásd: kimerítő zeller dokumentáció a témáról.

Íme néhány elengedhetetlen követelmény a munkavállalók számára:

• airflow kell telepíteni, és a CLI kell lennie az utat

• a légáramlás konfigurációs beállításainak homogénnek kell lenniük a fürtön

• a dolgozón végrehajtott operátoroknak ebben az összefüggésben meg kell adniuk függőségeiket. Például,ha a HiveOperator, A hive CLI kell telepíteni, hogy a doboz, vagy ha használja aMySqlOperator, a szükséges Python könyvtár kell lennie a PYTHONPATH valahogy

• a dolgozónak hozzá kell férnie a DAGS_FOLDER fájlhoz, és a saját eszközeivel kell szinkronizálnia a fájlrendszereket. A közös beállítás lenne tostore a DAGS_FOLDER egy Git repository és szinkronizálja a gépek usingChef, Puppet, Ansible, vagy bármi, amit használni konfigurálni gépek yourenvironment. Ha az összes doboznak közös csatolási pontja van, akkor a yourpipelines fájlok megosztásának is működnie kell

a munkavállaló elindításához be kell állítania az Airflow-t, és ki kell indítania a workersubcommand-ot

airflow worker

a munkavállalónak el kell kezdenie a feladatok felvételét, amint kirúgjákannak irányába.

vegye figyelembe, hogy futtathatja a “zeller virág”, a zeller tetejére épített webes felhasználói felület, hogy figyelemmel kísérje munkavállalóit. A airflow flowerparancsikon segítségével elindíthat egy Flower webkiszolgálót.

kérjük, vegye figyelembe, hogy a flower python könyvtárat már telepítenie kell a rendszerére. Az ajánlott módszer az airflow zeller köteg telepítése.

pip install 'apache-airflow'

néhány figyelmeztetés:

• győződjön meg róla, hogy egy adatbázis által támogatott eredmény backend

• ügyeljen arra, hogy olyan láthatósági időtúllépést állítson be, amely meghaladja a leghosszabb ideig futó feladat ETA-ját

• a feladatok erőforrásokat fogyaszthatnak. Győződjön meg arról, hogy a munkavállaló elegendő erőforrással rendelkezik a worker_concurrency feladatok futtatásához

• a várólisták nevei 256 karakterre korlátozódnak, de minden bróker háttérprogramnak lehetnek saját korlátozásai