LiveHard

  • 홈
  • 태그
  • 방명록

GPU 1

vGPU활용한 학습/serving환경

1.vGPU환경 -특징1: 클라우드기반 vGPU환경 vGPU: 물리 GPU를 vm에 할당하여 사용 gpu: slice방식으로 공유 gpu memory: 전용할당 특징2: 가상Container환경 gpu를 사용한 딥러닝학습위해서는 driver와 cuda, cudnn라이브러리 필요 => gpu driver는 vm 서버에 설치, cuda 및 cudnn은 설치된 이미지를 가상 컨테이너환경으로 사용자에게 제공 이점: 1.모델학습 측면: gpu학습환경(cuda, cudnn등)을 유저가 직접설치하기에는 복잡-> 모델개발에 필요한 환경을 편리하게 제공 2.모델의 비지니스서비스화 측면: 학습환경과 동일한 dependency를 가진 환경을 쉽게 제공함으로써 모델성능의 재현성을 높일수 있다. 2.vGPU container학..

MLOps/GPU 2024.03.18
이전
1
다음
더보기
프로필사진

LiveHard

  • 분류 전체보기 (34)
    • network (0)
    • python (0)
      • fastapi (0)
    • k8s 및 인프라 (13)
      • k8s (4)
      • istio (1)
      • certmanager (0)
      • keycloak (0)
      • prometheus (4)
      • rook-ceph (4)
    • CICD (0)
    • data engineering (10)
      • airflow (5)
      • minIO (3)
      • redis(keydb) (1)
    • 일상 (0)
    • AI (5)
      • 중국AI산책 (1)
      • LLM (3)
      • RAG (1)
    • MLOps (7)
      • GPU (5)
      • Langserve (1)
      • kubeflow (1)

Tag

local llm, gpu-operator, ceph, OpenClaw, vGPU, gpt-oss-120b, Prometheus, rook-ceph, helm, istio, servicemonitor, dgx spark, TaskFlow, GPU Operator, MinIO, airflow, k8s, prometheus operator, LLM, AgentAI,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바