본문 바로가기 메뉴 바로가기

낭뎁

프로필사진
  • 글쓰기
  • 관리
  • 태그
  • 방명록
  • RSS

낭뎁

검색하기 폼
  • 분류 전체보기 (13)
    • 회고 (2)
    • GCP (2)
    • Java (2)
    • Python (4)
    • k8s (3)
  • 방명록

Xcom (1)
[Airflow] 이전 Dag에서 저장한 XCom 가져오기

Airflow를 사용할때 XCom으로 task간 데이터를 주고받을때 사용할때가 많은데, task간 뿐만 아니라 이전 Dag Run에서 push한 데이터도 가져올 수 있다. Airflow에서 push한 XCom은 UI에서 바로 확인이 가능하다.(Admin > XComs) UI에서 확인한 것처럼 value와 함께 저장되는 다른 메타데이터들이 있는데 이 값들을 활용하면 이전 dag에서 push한 xcom value도 가져올 수 있다. 이전 Dag에서 XCom 가져오기(Airlfow 2.4) 나는 XCom.get_one() 함수를 사용하였고, 여러 값을 가져오려면 XCom.get_many()를 사용할 수 있다. 함수에 executioin_date, dag_id, task_id를 넘겨주어서 기준에 맞는 XCom을..

Python 2023. 8. 8. 22:46
이전 1 다음
TAG
  • GCP
  • bq cli
  • BigQuery
  • 회고
  • Airflow
  • Java
  • 주니어개발자
  • GCS
  • kakfa
  • Helm
  • 퇴사
  • Kubernetes
  • Xcom
  • GitHub
  • K8S
more
최근에 올라온 글
링크
  • LinkedIn Profile

Blog is powered by Tistory / Designed by Tistory

티스토리툴바