DataRailroad

Airflow 란?

Apache Airflow는 초기 에어비엔비(Airfbnb) 엔지니어링 팀에서 개발한 워크플로우 오픈 소스 플랫폼입니다. 프로그램 방식으로 워크플로우를 작성, 예약, 모니터링 할 수 있습니다.

**워크플로우 : 의존성으로 연결된 작업(Task)들의 집합.

Airflow 설치 방법

1. pip 사용하여 설치

# 먼저 가상환경 생성
python3 -m venv airflow_venv
source airflow_venv/bin/activate

# 환경 변수를 설정
export AIRFLOW_HOME=~/airflow

# 설치할 때에는 Apache Airflow의 특정 버전을 설정해주는 것이 좋습니다.
# 예시로 airflow의 기본 패키지를 설치합니다.
pip install "apache-airflow==2.6.3" --constraint "https://raw.githubusercontent.com/apache/airflow/constraints-2.6.3/constraints-3.8.txt"

airflow db init
airflow webserver --port 8080

*blinker 삭제 실패 등 여러 원인으로 실패가 발생할 수 있습니다. 현재 해결한 방법은 pip3 apt update, pip3 apt upgrade를 통해서 pip3 패키지를 최신화해서 패키지 위치를 잡아줘야 합니다.

2. Helm 사용하여 설치

# 먼저 Helm 저장소 추가
helm repo add apache-airflow https://airflow.apache.org

# 저장소 업데이트
helm repo update

# Airflow 설치
kubectl create namespace airflow
helm install airflow apache-airflow/airflow --namespace airflow

3. Docker Compose 사용하여 설치

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/docker-compose.yaml'

mkdir -p ./dags ./logs ./plugins
echo -e "AIRFLOW_UID=$(id -u)\nAIRFLOW_GID=0" > .env

docker-compose up airflow-init
docker-compose up

4. APT 사용하여 설치

sudo apt-get update
sudo apt-get install apache-airflow

5. Apache Airflow 설치 스크립트 사용하여 설치

curl -LfO 'https://airflow.apache.org/docs/apache-airflow/stable/installation-script.sh'
bash installation-script.sh