LiveHard

grafana exporter 및 servicemonitor 셋업을 하고 prometheus에 잘수집되는지 확인해보았더니 다음과같은 에러가 났다. x509: certificate signed by unknown authority for prometheus Hi, 사실 이 에러자체는 prometheus에 tls insecure설정을 함으로써 회피가 가능하나. 나는 그것외에도 특이한점을 발견했다. endpoint는 pod ip:pod port/metrics 로 되어있는데 ERROR로그에는 Get :/metrics로 redirect되어있는것이다. 이로인해 발생한 에러였고, 이 원인을 먼저확인해야했다. k8s서버에서 curl pod ip:pod port를 날리면 아래와 같이 redirect 경로를 return해..

prometheus의 단점은 polling방식의 수집으로 인해서, 새로운 exporter가 추가될 경우, prometheus서버의 config 또는 configmap의 해당 exporter수집경로를 등록하고, prometheus를 재시작해야한다는점이다. prometheus operator를 통해서 해결할수있다. 기존에는 app -> exporter -> prometehus서버 순으로 수집된다면, app->exporter->servicemonitor->prometheus 서버로 수집된다. 조금더 보면 servicemonitor는 k8s CRD 리소스로 샘플 매니페스트는 다음과같다. apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: na..