LiveHard

생성된지 하루가 지난 test라는 버킷의 모든 파일을(prefix="")를 삭제하는 lifecycle rule을 등록하는 스크립트 예시 from minio import Minio from datetime import datetime, timedelta from minio.commonconfig import ENABLED, Filter from minio.lifecycleconfig import Expiration, Rule, LifecycleConfig # MinIO 서버 정보 설정 minio_client = Minio( , access_key=, secret_key=, secure=False ) config = LifecycleConfig( [ Rule( ENABLED, rule_filter=Filte..

minIO는 오브젝트 스토리지 매니지먼트툴이다. aws s3와 호환이된다. 오브젝트스토리지 매니지의 대표적은 오픈소스로, mlflow 와 함께 모델 버전관리에 쓰인다. 인풋데이터등 비정형데이터를 관리하기에 좋아 머신러닝에서 많이 쓰인다. 1.셋업 minio lifecycle정책을 집에서 테스트해볼일이 생겨서 간단하게 구축해보았다. -private git repostory에 helm index가 셋업된 helm registry가 있다고 가정 -private image registry가 있다고 가정 *주의: minIO 는 2021년 5월부터 AGPL 라이센스 v3가 되었다. 네트워크에 배포시 유관 소스코드 공개 필수 bitnami minIO helm chart를 활용했다. 먼저 values.yaml위에 덮어..

airflow taskflow예시 다양한 종류의 데이터별로 쿼리를 수행한후 파싱한후에 일부는 db에 담아 continuous learning용도로 쓰고, 일부는 pivot해서 spotfire등의 visualization용도로 사용한다면? 빅데이터레이크에 직접적으로 여러 쿼리를 날릴경우에, 병렬수행을 하면 dag의 구동시간을 줄이고 효율적인 workflow가 될 수있을것이다. 이때 taskflow를 사용한 dag작성은 직관적이면서도 쉽게 동시성 코딩을 할 수 있다. 아래는 예시.. 자세한 설명은 귀찮으니 담에... from airflow.utils.dates import days_ago from airflow.decorators import dag, task, task_group import pandas ..

prerequisite private registry 구축(harbor) private repository 구축(gitea) istio 1.17.5 으로 설치함 참고자료 https://istio.io/latest/docs/setup/install/istioctl/#generate-a-manifest-before-installation Install with Istioctl Install and customize any Istio configuration profile for in-depth evaluation or production use. istio.io 0.준비 #원하는 버전의 istio를 다운로드 https://github.com/istio/istio/releases/ Releases · isti..

0.사전점검 Confirm you will have enough space on your cluster after removing your OSDs to properly handle the deletion Confirm the remaining OSDs and their placement groups (PGs) are healthy in order to handle the rebalancing of the data Do not remove too many OSDs at once Wait for rebalancing between removing multiple OSDs 1.디스크 교체전 우리는 ceph cluster를 host-based cluster방식으로 구성 ceph cluster CR에서 useA..

참고: 공식문서 https://rook.io/docs/rook/latest-release/Getting-Started/ceph-teardown/ Cleanup - Rook Ceph DocumentationCleanup Cleaning up a Cluster To tear down the cluster, the following resources need to be cleaned up: The resources created under Rook's namespace (default rook-ceph) such as the Rook operator created by operator.yaml and the cluster CR cluster.yaml. /varrook.io #pv, pvc삭제 #storagec..

1.ceph를 사용할 노드에 라벨링 #노드라벨확인 k get nodes --show-labels #필요한 노드에 ceph용 라벨적용 k label nodes storage=ceph 1. rook operator 설치 k create -f crds.yaml k create -f common.yaml k create -f operator.yaml #아래 파라미터 설정확인 CSI_PROVISIONER_NODE_AFFINITY: "storage=ceph" #라벨이 된 노드에만 ceph osd 구동 CSI_PLUGIN_NODE_AFFINITY: "storage=ceph" #plugin node affinity설정 ROOK_ENABLE_DISCOVERY_DAEMON: "true" #자동감지daemon실행 ROOK_..

이슈상황1: 신규노드 3대 추가 및 rook-ceph 클러스터에서 detection및 osd 생성필요상황 그러나 3대노드 모두 osd생성안됨 신규노드 중 1개 노드의 rook-discover daemon이 리스타트 및 termination상태에서 stuck 조치: 해당 rook-discover pod강제삭제 (--force --grace-period=0) 결과: 해당 노드 discover daemon 재시작 이슈상황2: discover가 정상적으로 구동되었다면, 이후로 osd prepare job이 생성되어야하나 신규노드에서 생성이 안됨 확인사항: 신규노드 ceph 라벨링 추가확인완료 rook-ceph operator의 parameter usealldevice true 설정완료 조치: https://gi..

--만료확인 kubeadm certs check-expiration --백업 cd /etc/kubernetes/pki --갱신 kubeadm certs renew all --kube config copy cd /etc/kubernetes cp admin.conf ~/.kube/config chown ~ --kubelet restart