프로메테우스 장점 프로메테우스는 오픈소스 모니터링 시스템으로, 대규모 분산 시스템에서 발생하는 메트릭 데이터를 수집, 저장, 분석하고 시각화할 수 있습니다. 이를 통해 시스템의 성능과 안정성을 쉽게 파악하고, 문제를 신속하게 해결할 수 있습니다. 프로메테우스의 장점은 다음과 같습니다. 1. 쉬운 설치와 설정 프로메테우스는 쉽게 설치하고 설정할 수 있습니다. 또한, 대부분의 메트릭 데이터 소스와 호환성이 뛰어나기 때문에 다양한 시스템에서 쉽게 사용할 수 있습니다. 2. 데이터 수집 및 저장 프로메테우스는 분산 시스템에서 발생하는 메트릭 데이터를 수집하고 저장할 수 있습니다. 이를 통해 시스템의 상태와 성능을 실시간으로 모니터링할 수 있습니다. 또한, 메트릭 데이터의 저장 방식이 효율적이기 때문에 대규모 시..
효율적인 쿼리 작성 방법 효율적인 쿼리 작성 방법에 대해서는 다음과 같은 것들이 있습니다. 인덱스를 활용하기 데이터베이스에 인덱스를 생성해 놓으면 데이터를 빠르게 찾을 수 있습니다. 인덱스를 생성할 때는 자주 사용하는 컬럼에 대해서 생성하는 것이 좋습니다. 하지만 인덱스를 너무 많이 생성하면 데이터 삽입, 수정, 삭제 시간이 길어질 수 있으므로 적절한 인덱스를 생성해야 합니다. 적절한 쿼리 작성하기 조건절에 적절한 컬럼을 사용하고, 중복되는 데이터를 최소화하는 등 적절한 쿼리 작성 방법이 중요합니다. 불필요한 연산을 피하고, 필요한 컬럼만 가져오는 것도 성능에 도움이 됩니다. 데이터 정규화 데이터를 정규화하여 중복 데이터를 제거하면 저장 공간을 절약할 수 있고, 데이터 무결성이 유지됩니다. 하지만 데이터..
클러스터 전 127.0.0.1:7001> cluster info cluster_state:fail cluster_slots_assigned:16384 cluster_slots_ok:5461 cluster_slots_pfail:10923 cluster_slots_fail:0 cluster_known_nodes:3 cluster_size:3 cluster_current_epoch:3 cluster_my_epoch:1 cluster_stats_messages_ping_sent:2 cluster_stats_messages_sent:2 cluster_stats_messages_received:0 total_cluster_links_buffer_limit_exceeded:0 클러스터 후 127.0.0.1:7001>..
root@redis_1:/data# redis-cli -a password Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 127.0.0.1:6379> set key value (error) MOVED 12539 172.28.0.5:6379 접속에 -c 옵션을 추가하자 root@redis_1:/data# redis-cli -a password -c Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe. 127.0.0.1:6379> set key value -> ..
- 정형, 반정형, 비정형 데이터를 원시 형태로 저장 - 이로 인한 데이터 활용성이 높아지고, 머신러닝 딥러닝 모델 만들기 용이함 - 기업에서 얻은 아무런 정제되지 않은 데이터가 저장돼 있다. - Hadoop - RDBMS - 클라우드 기반 스토리지
- 데이터 저장소 - 데이터의 양은 데이터 마트보다 많음 - 기본적으로 기업의 정보와 의사결정을 도와주는 데이터를 모으는 데이터베이스 - 데이터 저장소 - 데이터의 양은 데이터 웨어하우스보다 적음 - 위의 데이터 웨어하우스보다 작은 데이터 웨어하우스라고 생각하면 됨 - 데이터 웨어하우스의 하위 집합 정도 - 범위가 제한적인 데이터 웨어하우스 - 데이터의 양이 데이터 웨어하우스보다 적어서 쿼리가 가벼움 - 데이터 웨어하우스보다 쿼리의 복잡성이 낮음 (왜냐면 분석에 용이하게 구축된 데이터이기 때문에) - 시간과 돈을 아낄 수 있음 - 효율성을 추구해서 너무 많..
이번에는 나의 도커에 node-exporter 컨테이너와 cadvisor 컨테이너를 만들어서 웹 ui에 접속해보자! 먼저 폴더 구조는 다음과 같다. 이 모든 폴더를 압축한 파일은 다음과 같다. /cadvisor/cadvisor-remove/remove-image.sh : cadvisor 이미지 삭제 쉘 스크립트 /node-exporter/node-exporter-build/build-node-exporter.sh : 노드익스포터 이미지 만드는 스크립트 /node-exporter/node-exporter-dockerfile/Dockerfile : 도커파일 /node-exporter/node-exporter-remove/remove-image.sh : 노드익스포터 이미지 삭제 쉘 스크립트 /docker-c..
노드 익스포터를 만들 때 포트를 변경할 수 있다. 내용이 그대로 들어간 압축파일은 다음과 같다. build-node-exporter.sh : 이미지 만드는 파일 Dockerfile : 도커파일 remove-image.sh : 이미지 지우는 쉘 스크립트 docker-compose.yml : 컨테이너 만드는 파일 build-node-exporter.sh #!/bin/bash IMAGE_NAME=gyeongtae/node-exporter IMAGE_TAG=0.01 IMAGE_NAME_TAG=$IMAGE_NAME:$IMAGE_TAG if [[ "$(docker container ls -a --filter="status=exited" -q 2> /dev/null)" != "" ]]; then docker rm $..
회사에서 노드 익스포터를 사용할 일이 생겨서 정리해보자. 도커 허브에 이미 만들어진 노드 익스포터가 있지만 직접 만들어보자. 파일의 구조는 다음과 같다. 최상위 docker 폴더의 압축파일이다. build-node-exporter.sh 는 내가 만든 도커파일로 이미지를 만들 때 사용한다. build-node-exporter.sh #!/bin/bash IMAGE_NAME=node-exporter-pgt IMAGE_TAG=0.01 IMAGE_NAME_TAG=$IMAGE_NAME:$IMAGE_TAG if [[ "$(docker container ls -a --filter="status=exited" -q 2> /dev/null)" != "" ]]; then docker rm $(docker container ..
파이썬과 데이터베이스 연결을 위해 두개의 컨테이너를 만드는 작업을 해보자 파일의 구조는 다음과 같다 docker-compose.yml version: '2.1' services: mariadb: image: mariadb:10.7 hostname: mariadb container_name: mariadb restart: always ports: - 3376:3306 environment: MYSQL_ROOT_PASSWORD: root python: hostname: python container_name: python build: context: . dockerfile: ./Dockerfile stdin_open: true tty: true restart: always volumes: - type: bi..
