LiveHard

DGX Spark에서 GPT-OSS 최적화하기NVIDIA DGX Spark (GB10, SM 12.1, 128GB 통합 메모리) 환경에서vLLM + openai/gpt-oss-120b의 추론 성능을 단계별로 최적화한 기록1. 테스트 환경항목사양하드웨어NVIDIA DGX Spark (GB10 SoC)GPU 아키텍처Blackwell SM 12.1 (consumer/edge)메모리128GB 통합 메모리 (CPU+GPU 공유), 273 GB/sOSLinux 6.17.0-1008-nvidia (aarch64)모델openai/gpt-oss-120b (120B MoE, MXFP4)추론 엔진vLLM (NGC 이미지: nvcr.io/nvidia/vllm:26.01-py3)배포 방식Docker Compose2. Basel..

DGX Spark로 OpenClaw Local LLM 구성 — Provider 선정기 핫한 OpenClaw로 이것저것 시도해보던중 유료 LLM의 탁월한 성능과 함께 개발단계부터 비용적 한계를 느꼈다. 그래서 하이브리드 구성(전략: 유료 LLM 연산/실행: Local LLM) 을 위해 먼저 local LLM Provider로 Ollama, SGLang, vLLM 세 가지를 DGX Spark에서 테스트했다. GPT-OSS-120B 모델 기준으로 DGX Spark에서 테스트해보고 내린 결론은 개인 사용이면 Ollama(41 tok/s), 팀 공유 서버면 vLLM(35.3 tok/s)이다. SGLang은 DGX Spark의 GPU(SM 12.1)가 데이터센터 Blackwell(SM 100)과 다른 명령어 ..

🚀 내 책상 위 AI 슈퍼컴퓨터, 외부에서 안전하게 접속하기 (Open WebUI + Tailscale)집에서 local llm을 만들고 open webui로 사용해보는데, 집 밖에서도 사용해야할 경우가 있다.하지만 공유기 포트 포워딩은 보안상 찝찝하고 설정도 귀찮다. 이럴 때 가장 깔끔한 정답은 Tailscale이다. 복잡한 VPN 설정 없이 내 기기들을 하나의 가상 네트워크로 묶고, 심지어 HTTPS 도메인까지 공짜로 입히는 법을 알아보자.1. Tailscale 설치 및 연동먼저 고속도로부터 깔아야 한다. 접속할 llm및 open webui 호스트서버와 클라이언트(노트북) 양쪽 모두에 Tailscale을 설치하자.llm host 서버에서:curl -fsSL https://pkgs.tailscale...