LiveHard

  • 홈
  • 태그
  • 방명록

nvidia 2

NVIDIA GPU Operator 용어

GPU Driver CRD (NVIDIA Driver CRD)개별 노드에 GPU driver type과 버전을 지정할 수 있는 nvidia custom driver, custom resource를 생성할 수 있다.노드셀렉터를 통해 노드별 os에 따른 드라이버설정 가능-- Cluster Policy CRD와 NVIDIA Driver CRD 비교https://docs.nvidia.com/datacenter/cloud-native/gpu-operator/latest/gpu-driver-configuration.htmlKubeVirtk8s cluster상 VM환경 생성성하고 관리하게 해주는 기술.VM과 Container를 위한 개별 클러스터를 구성할 필요 없이 하나의 k8s cluster에서 모두 사용가능하게 ..

MLOps/GPU 2024.06.16

vGPU활용한 학습/serving환경

1.vGPU환경 -특징1: 클라우드기반 vGPU환경 vGPU: 물리 GPU를 vm에 할당하여 사용 gpu: slice방식으로 공유 gpu memory: 전용할당 특징2: 가상Container환경 gpu를 사용한 딥러닝학습위해서는 driver와 cuda, cudnn라이브러리 필요 => gpu driver는 vm 서버에 설치, cuda 및 cudnn은 설치된 이미지를 가상 컨테이너환경으로 사용자에게 제공 이점: 1.모델학습 측면: gpu학습환경(cuda, cudnn등)을 유저가 직접설치하기에는 복잡-> 모델개발에 필요한 환경을 편리하게 제공 2.모델의 비지니스서비스화 측면: 학습환경과 동일한 dependency를 가진 환경을 쉽게 제공함으로써 모델성능의 재현성을 높일수 있다. 2.vGPU container학..

MLOps/GPU 2024.03.18
이전
1
다음
더보기
프로필사진

LiveHard

250x250
  • 분류 전체보기 (29)
    • network (0)
    • python (0)
      • fastapi (0)
    • k8s 및 인프라 (13)
      • k8s (4)
      • istio (1)
      • certmanager (0)
      • keycloak (0)
      • prometheus (4)
      • rook-ceph (4)
    • CICD (0)
    • MLOps (6)
      • GPU (5)
      • Langserve (1)
    • airflow (5)
    • kubeflow (1)
    • minIO (3)
    • redis(keydb) (1)
    • 일상 (0)

Tag

vGPU, Metric, istio, servicemonitor, airflow, S3, MinIO, TaskFlow, nvidia, rook-ceph, gfd, GPU Operator, k8s, rdma, ceph, gpu-operator, prometheus operator, object storage, helm, Prometheus,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바