LiveHard

  • 홈
  • 태그
  • 방명록

MLOps/Langserve 1

LangServe를 활용한 Langchain service

사내에서 data science팀이 제공하는 자체 LLM 모델은 제조데이터를 학습하지 않고 있다. 그래서 제조데이터를 활용한 LLM서비스를 위해서는 두가지방법이 가능해보이는데, 1. 제조데이터 finetuning을 통한 모델활용 2.langchain을 통한 RAG 구현으로 제조지식은 Retriver로,사내 LLM모델은 모델API로 활용하여 서비스제공하기 이다. 1번의 경우 해당부서와 실제로 협업하기 어려운측면이 있으나 2번은 충분히 가능해보였다. 그래서 오랜만에 Langchain을 보니 그동안 많이 또 바뀌어있었다. 그중에 Langserve는 내가 익숙한 fastapi를 통해 RAG 서비스를 제공할수 있어보였다. runnable이라는 자체 제공 객체를 통해 통해 쉽게 각종 component로부터의 데이터..

MLOps/Langserve 2024.04.14
이전
1
다음
더보기
프로필사진

LiveHard

250x250
  • 분류 전체보기 (29)
    • network (0)
    • python (0)
      • fastapi (0)
    • k8s 및 인프라 (13)
      • k8s (4)
      • istio (1)
      • certmanager (0)
      • keycloak (0)
      • prometheus (4)
      • rook-ceph (4)
    • CICD (0)
    • MLOps (6)
      • GPU (5)
      • Langserve (1)
    • airflow (5)
    • kubeflow (1)
    • minIO (3)
    • redis(keydb) (1)
    • 일상 (0)

Tag

rdma, TaskFlow, rook-ceph, istio, servicemonitor, airflow, k8s, gfd, object storage, GPU Operator, prometheus operator, ceph, MinIO, Prometheus, vGPU, Metric, helm, gpu-operator, S3, nvidia,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바