pbj0812의 코딩 일기

0. 목표 - Airflow BashOperator 사용하기 1. flow chart - python 으로 빈 csv 파일을 만들고 그 python 파일을 bash 가 돌리고 그 bash 파일을 Airflow 의 BashOperator 를 이용하여 구동 2. python 파일 생성(make_csv.py) - 해당 위치에 test.csv 라는 빈 csv 파일 생성 def result(): f = open("/Users/pbj0812/Desktop/test_code/test_airflow/test.csv", "w") f.close() if __name__ == "__main__": result() 3. bash 파일 생성(make_csv.sh) - 2. 의 make_csv.py 를 돌리도록 생성 python..

0. 목표 - Airflow 2.0 설치 & 사용자 계정 생성 1. Airflow 설치 & 실행 1) Airflow 설치 pip install apache-airflow 2) DB 초기화 airflow db init 3) airflow 실행 airflow webserver -p 8080 4) localhost:8080 - 이전버전에서는 볼 수 없던 로그인 창 생성 2. 유저 계정 생성 1) 계정 생성 - users create 라는 명령어를 사용하여 유저 생성 - 터미널에서 아래와 같은 방식으로 입력 - ROLE 에는 여러 종류가 있음(Admin, User, ...) airflow users create \ --username admin \ --firstname FIRST_NAME \ --lastname..

0. 목표 - airflow 에 airflow-code-editor plugin 설치 1. 설치 1) airflow 설치 pip install apache-airflow 2) airflow-code-editor 설치 pip install airflow-code-editor 3) 이외 라이브러리들 - 되는 버전을 알려주신 빅데이터 엔지니어 한용준 님께 감사의 인사를 드립니다. pip install marshmallow==2.19.5 pip install marshmallow-enum==1.5.1 pip install marshmallow-sqlalchemy==0.18.0 2. airflow 실행 1) 실행 airflow initdb airflow webserver -p 8080 2) 익스플로어에 local..

0. 목표 - 목표 위치에 1분마다 현재 시간을 기록한 파일 저장 1. Airflow 설치 pip install apache-airflow 2. 코드 작성 - 작성 위치 : ~/airflow/dags from airflow import DAG from airflow.operators.bash_operator import BashOperator from airflow.operators.dummy_operator import DummyOperator from airflow.operators.python_operator import PythonOperator from datetime import datetime, timedelta dag = DAG('hello-airflow', description='Hell..