skalering ud med selleri¶

CeleryExecutor er en af de måder, du kan skalere antallet af arbejdstagere. For detteat arbejde skal du indstille en selleri backend (Rabbit, Redis,…) ogændre din airflow.cfg for at pege eksekutorparameteren tilCeleryExecutor og angive de relaterede selleri indstillinger.

For mere information om oprettelse af en selleri mægler, seudtømmende selleri dokumentation om emnet.

her er et par afgørende krav til dine medarbejdere:

• airflow skal installeres, og CLI skal være i stien

• Luftstrømskonfigurationsindstillingerne skal være homogene på tværs af klyngen

• operatører, der udføres på arbejdstageren, skal have deres afhængigheder opfyldt i den sammenhæng. For eksempel, hvis du bruger HiveOperator, skal hive CLI installeres på den boks, eller hvis du brugerMySqlOperator, skal det krævede Python-bibliotek være tilgængeligt i PYTHONPATH på en eller anden måde

• arbejderen skal have adgang til dens DAGS_FOLDER, og du skalsynkronisere filsystemerne på egen hånd. En almindelig opsætning ville være at gemme din DAGS_FOLDER i et Git-arkiv og synkronisere det på tværs af maskiner ved hjælp afchef, Puppet, Ansible eller hvad du End bruger til at konfigurere maskiner i dit miljø. Hvis alle dine kasser har et fælles monteringspunkt, skal du også have dine rørledninger, der deles der

for at starte en arbejdstager skal du indstille luftstrømmen og starte arbejderunderkommandoen

airflow worker

din arbejdstager skal begynde at afhente opgaver, så snart de bliver fyret idens retning.

Bemærk, at du også kan køre “Selleriblomst”, en brugergrænseflade bygget oven på selleri, for at overvåge dine arbejdere. Du kan bruge genvejskommandoen airflow flowertil at starte en Blomsterserver.

bemærk, at du skal have flower python-biblioteket allerede installeret på dit system. Den anbefalede måde er at installere luftstrømmen selleri bundt.

pip install 'apache-airflow'

nogle forbehold:

• sørg for at bruge en database bakkes resultat backend

• sørg for at indstille en timeout for synlighed, der overstiger ETA for din længst kørende opgave

• opgaver kan forbruge ressourcer. Sørg for, at din medarbejder har nok ressourcer til at køre arbejdsopgaver

• Kønavne er begrænset til 256 tegn, men hver mægler backend kan have sine egne begrænsninger