LiveHard

  • 홈
  • 태그
  • 방명록

Blackwell 1

DGX Spark로 OpenClaw Local LLM 구성 — Provider 선정기

DGX Spark로 OpenClaw Local LLM 구성 — Provider 선정기 핫한 OpenClaw로 이것저것 시도해보던중 유료 LLM의 탁월한 성능과 함께 개발단계부터 비용적 한계를 느꼈다. 그래서 하이브리드 구성(전략: 유료 LLM 연산/실행: Local LLM) 을 위해 먼저 local LLM Provider로 Ollama, SGLang, vLLM 세 가지를 DGX Spark에서 테스트했다. GPT-OSS-120B 모델 기준으로 DGX Spark에서 테스트해보고 내린 결론은 개인 사용이면 Ollama(41 tok/s), 팀 공유 서버면 vLLM(35.3 tok/s)이다. SGLang은 DGX Spark의 GPU(SM 12.1)가 데이터센터 Blackwell(SM 100)과 다른 명령어 ..

AI/LLM 2026.02.25
이전
1
다음
더보기
프로필사진

LiveHard

  • 분류 전체보기 (34)
    • network (0)
    • python (0)
      • fastapi (0)
    • k8s 및 인프라 (13)
      • k8s (4)
      • istio (1)
      • certmanager (0)
      • keycloak (0)
      • prometheus (4)
      • rook-ceph (4)
    • CICD (0)
    • data engineering (10)
      • airflow (5)
      • minIO (3)
      • redis(keydb) (1)
    • 일상 (0)
    • AI (5)
      • 중국AI산책 (1)
      • LLM (3)
      • RAG (1)
    • MLOps (7)
      • GPU (5)
      • Langserve (1)
      • kubeflow (1)

Tag

rook-ceph, gpu-operator, servicemonitor, AgentAI, MinIO, dgx spark, Prometheus, istio, OpenClaw, vGPU, helm, k8s, prometheus operator, local llm, airflow, TaskFlow, gpt-oss-120b, LLM, ceph, GPU Operator,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2026/04   »
일 월 화 수 목 금 토
1 2 3 4
5 6 7 8 9 10 11
12 13 14 15 16 17 18
19 20 21 22 23 24 25
26 27 28 29 30

방문자수Total

  • Today :
  • Yesterday :

Copyright © AXZ Corp. All rights reserved.

티스토리툴바