LiveHard

DGX Spark에서 GPT-OSS 최적화하기NVIDIA DGX Spark (GB10, SM 12.1, 128GB 통합 메모리) 환경에서vLLM + openai/gpt-oss-120b의 추론 성능을 단계별로 최적화한 기록1. 테스트 환경항목사양하드웨어NVIDIA DGX Spark (GB10 SoC)GPU 아키텍처Blackwell SM 12.1 (consumer/edge)메모리128GB 통합 메모리 (CPU+GPU 공유), 273 GB/sOSLinux 6.17.0-1008-nvidia (aarch64)모델openai/gpt-oss-120b (120B MoE, MXFP4)추론 엔진vLLM (NGC 이미지: nvcr.io/nvidia/vllm:26.01-py3)배포 방식Docker Compose2. Basel..

DGX Spark로 OpenClaw Local LLM 구성 — Provider 선정기 핫한 OpenClaw로 이것저것 시도해보던중 유료 LLM의 탁월한 성능과 함께 개발단계부터 비용적 한계를 느꼈다. 그래서 하이브리드 구성(전략: 유료 LLM 연산/실행: Local LLM) 을 위해 먼저 local LLM Provider로 Ollama, SGLang, vLLM 세 가지를 DGX Spark에서 테스트했다. GPT-OSS-120B 모델 기준으로 DGX Spark에서 테스트해보고 내린 결론은 개인 사용이면 Ollama(41 tok/s), 팀 공유 서버면 vLLM(35.3 tok/s)이다. SGLang은 DGX Spark의 GPU(SM 12.1)가 데이터센터 Blackwell(SM 100)과 다른 명령어 ..

seedance 2.0 이 요즘 핫하다. 중국 AI 공부도 하고, 중국어 복습도 해볼겸. 가끔 글을 올려야겠다. bytedance 산하의 AI플랫폼 jimeng AI ( https://jimeng.jianying.com/ ) 에서 해당 모델을 테스트해 볼 수 있다. 1. 홈페이지 메뉴 설명 文生图 : wenshengtu -> Text to Image视频生成: shipin shengcheng -> 영상 생성智能画布: zhineng huabu -> smart canvas探索: tansuo -> 다른 유저들의 작품 및 프롬프트 참고未来影像计划: weilai yingxiang jihua -> 미래 비전등을 볼수있는 페이지 开启即梦 : kaiqi jimeng -> 회원가입. 직역하면 즉각적인 꿈만들기 (jim..

🚀 내 책상 위 AI 슈퍼컴퓨터, 외부에서 안전하게 접속하기 (Open WebUI + Tailscale)집에서 local llm을 만들고 open webui로 사용해보는데, 집 밖에서도 사용해야할 경우가 있다.하지만 공유기 포트 포워딩은 보안상 찝찝하고 설정도 귀찮다. 이럴 때 가장 깔끔한 정답은 Tailscale이다. 복잡한 VPN 설정 없이 내 기기들을 하나의 가상 네트워크로 묶고, 심지어 HTTPS 도메인까지 공짜로 입히는 법을 알아보자.1. Tailscale 설치 및 연동먼저 고속도로부터 깔아야 한다. 접속할 llm및 open webui 호스트서버와 클라이언트(노트북) 양쪽 모두에 Tailscale을 설치하자.llm host 서버에서:curl -fsSL https://pkgs.tailscale...

EURO Regulations관련 Annex table을 LLM에서 가장 잘이해하고 처리할 수있는 형태로 chungking하고자했다.LLM은 일반적으로 Markdown에 더 높은 성능과 안정성을 보인다.pdf table -> markdown 전환시 완성도 우수pdf table -> markdown direct 변환(pandas 등 중간 layer x)무료 > 유료라는 조건으로 llamaparse(llamaindex), pymupdf4llm 등 RAG특화 툴과 비교적 classic한 pdfplumber, camelot+pandas 조합을 테스트해봤다. 원본 pdf파일1. llamaparsellamaindex의 명성에 비해,, 생각보다 실망스러웠다.# Step 1: LlamaParse로 PDF를 Markd..