scalarea cu telina¶

CeleryExecutor este una dintre modalitățile prin care puteți reduce numărul de lucrători. Pentru acest lucru, trebuie să configurați un backend de țelină (RabbitMQ, Redis, …) șischimbați airflow.cfg pentru a indica parametrul executor laCeleryExecutor și furnizați setările de țelină aferente.

pentru mai multe informații despre înființarea unui broker de țelină, consultați documentația exhaustivă de țelină pe această temă.

iată câteva cerințe imperative pentru lucrătorii dumneavoastră:

• airflow trebuie să fie instalat, iar CLI trebuie să fie în cale

• setările de configurare a fluxului de aer trebuie să fie omogene în cluster

• operatorii care sunt executați pe lucrător trebuie să aibă dependențele lorîntâlnit în acest context. De exemplu, dacă utilizați HiveOperator, CLI hive trebuie să fie instalat pe acea casetă sau dacă utilizațiMySqlOperator, biblioteca Python necesară trebuie să fie disponibilă în PYTHONPATH într-un fel

• lucrătorul trebuie să aibă acces la DAGS_FOLDER și trebuie săsincronizați sistemele de fișiere prin mijloace proprii. O configurare comună ar fi tostore DAGS_FOLDER într-un depozit Git și sincronizați-l între mașini folosindchef, Puppet, Ansible, sau orice altceva utilizați pentru a configura mașini în yourenvironment. Dacă toate casetele dvs. au un punct de montare comun, având fișierele yourpipelines partajate acolo ar trebui să funcționeze la fel de bine

pentru a da startul unui lucrător, trebuie să configurați fluxul de aer și să dați startul lucrătoruluisubcommand

airflow worker

lucrătorul dvs. ar trebui să înceapă să preia sarcini de îndată ce sunt concediațidirecția sa.

rețineți că puteți rula și “telina Flower”, o interfață web construită pe partea de sus a țelinei,pentru a vă monitoriza lucrătorii. Puteți utiliza comanda rapidă airflow flower pentru a porni un server web Flower.

rețineți că trebuie să aveți biblioteca python flower deja instalată pe sistemul dvs. Modul recomandat este să instalați pachetul de țelină airflow.

pip install 'apache-airflow'

unele avertismente:

• asigurați-vă că pentru a utiliza o bază de date backend rezultat susținută

• asigurați-vă că pentru a seta un timeout vizibilitate în care depășește eta de sarcina ta cel mai lung de funcționare

• sarcinile pot consuma resurse. Asigurați-vă că lucrătorul dvs. are suficiente resurse pentru a rula sarcini worker_concurrency

• numele cozii sunt limitate la 256 de caractere, dar fiecare backend broker ar putea avea propriile restricții