LiveHard

  • 홈
  • 태그
  • 방명록

DAG 1

airflow taskflow

airflow taskflow예시 다양한 종류의 데이터별로 쿼리를 수행한후 파싱한후에 일부는 db에 담아 continuous learning용도로 쓰고, 일부는 pivot해서 spotfire등의 visualization용도로 사용한다면? 빅데이터레이크에 직접적으로 여러 쿼리를 날릴경우에, 병렬수행을 하면 dag의 구동시간을 줄이고 효율적인 workflow가 될 수있을것이다. 이때 taskflow를 사용한 dag작성은 직관적이면서도 쉽게 동시성 코딩을 할 수 있다. 아래는 예시.. 자세한 설명은 귀찮으니 담에... from airflow.utils.dates import days_ago from airflow.decorators import dag, task, task_group import pandas ..

airflow 2024.03.06
이전
1
다음
더보기
프로필사진

LiveHard

250x250
  • 분류 전체보기 (29)
    • network (0)
    • python (0)
      • fastapi (0)
    • k8s 및 인프라 (13)
      • k8s (4)
      • istio (1)
      • certmanager (0)
      • keycloak (0)
      • prometheus (4)
      • rook-ceph (4)
    • CICD (0)
    • MLOps (6)
      • GPU (5)
      • Langserve (1)
    • airflow (5)
    • kubeflow (1)
    • minIO (3)
    • redis(keydb) (1)
    • 일상 (0)

Tag

prometheus operator, Prometheus, airflow, servicemonitor, MinIO, Metric, ceph, k8s, rook-ceph, rdma, GPU Operator, TaskFlow, vGPU, gfd, S3, nvidia, gpu-operator, helm, object storage, istio,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바