[Airflow, Docker] airflow scheduler does not appear to be running 문제 해결

 

[이슈]

도커에서 Airflow를 설치하고, webserver, scheduler를 실행했을 때 

다음과 같은 이슈가 발생하였으며, 생성한 dag를 인식하지 못하는 문제가 발생하였다.

[원인]

나는 docker에서 airflow를 설치하고 webserver와 scheduler를 실행하는 과정에서 두 개의 터미널을 사용하였다. 

설치하는 과정에서 export AIRFLOW_HOME='~/airflow'의 환경변수를 생성해주었다.

쉽게 1번, 2번 터미널이 있다고 했을 때

  1번 터미널 - airflow설치, 즉 export 설정을 했다. 

  2번 터미널 - airflow scheduler만 실행

여기서 문제가 발생했는데, 2번 터미널은 AIRFLOW_HOME환경변수 설정이 없었던 것이다.

그래서 엉뚱한 경로에서 dags를 찾고, webserver와 소통을 하지 못해서(?) 다음과 같은 문제가 발생했던 것이었다.

[해결]

문제 해결은 단순하다.

1번, 2번 터미널 모두에 export AIRFLOW_HOME='~/airflow' 환경변수를 설정해준 다음에 실행하면 정상적으로 인식된다.

다음과 같이 정상적으로 인식되고, 실행되는걸 알 수 있다.