셀러리로 확장¶

CeleryExecutor 당신이 노동자의 수를 확장 할 수있는 방법 중 하나입니다. 이 작업을 수행하려면 셀러리 백엔드를 설정하고airflow.cfg를 변경하여 실행 프로그램 매개 변수를CeleryExecutor로 지정하고 관련 셀러리 설정을 제공해야합니다.

셀러리 브로커 설정에 대한 자세한 내용은 이 주제에 대한 끝없는 셀러리 문서를 참조하십시오.

다음은 작업자에 대한 몇 가지 필수 요구 사항입니다:

• airflow 설치해야 하고 클리가 경로에 있어야 합니다.

• 공기 흐름 구성 설정은 클러스터 전체에서 균일해야 합니다

• 작업자에서 실행되는 연산자는 해당 컨텍스트에서 종속성을 충족해야 합니다. 또는MySqlOperator을 사용하는 경우 필요한 파이썬 라이브러리를PYTHONPATH에서 어떻게든 사용할 수 있어야 합니다

• 작업자는DAGS_FOLDER에 액세스할 수 있어야 하며,사용자가 직접 파일 시스템을 동기화해야 합니다. 일반적인 설정은 자식 리포지토리에 다그 _폴더를 저장하고 컴퓨터 간에 동기화하는 것입니다. 모든 상자에 공통 마운트 지점이 있는 경우 파이프라인 파일을 공유해도 작동합니다

작업자를 킥오프하려면 공기 흐름을 설정하고 작업자의 하위 명령을 킥오프해야 합니다

airflow worker

귀하의 작업자는 그들이 해고되는 즉시 작업을 따기 시작해야합니다.그것의 방향.

또한 셀러리 위에 구축 된 웹 사용자 인터페이스 인”셀러리 꽃”을 실행하여 작업자를 모니터링 할 수도 있습니다. 바로 가기 명령airflow flower을 사용하여 꽃 웹 서버를 시작할 수 있습니다.

flower파이썬 라이브러리가 시스템에 이미 설치되어 있어야 합니다. 권장 방법은 공기 흐름 셀러리 번들을 설치하는 것입니다.

pip install 'apache-airflow'

몇 가지주의 사항:

• 데이터베이스 백업 결과 백엔드를 사용 해야 합니다

• 실행 중인 가장 긴 작업의 도착 예정 시간을 초과하는 가시성 제한 시간을 설정해야 합니다

• 작업은 리소스를 사용할 수 있습니다. 작업자에게 작업자_통화 작업을 실행할 수 있는 충분한 리소스가 있는지 확인합니다

• 큐 이름은 256 자로 제한되지만 각 브로커 백엔드에는 자체 제한

이 있을 수 있습니다.