Monitoring

В этом разделе мы настроим базовый мониторинг с Prometheus, Grafana, loki, Promtail

Краткое описание сервисов

Prometheus — система сбора и хранения метрик.
Grafana — визуализация метрик и логов.
Loki — система хранения логов от Grafana.
Promtail — агент, собирающий логи с приложений и отправляющий их в Loki.

Начнем с создания конфигураций для наших сервисов

Создадим новую папку в monitoring в папке с нашим docker-compose.yaml


mkdir monitoring

Создадим файл loki-config.yaml


sudo nano loki-config.yaml

📄 loki-config.yaml


auth_enabled: false
 
server:
  http_listen_port: 3100
 
common:
  ring:
    instance_addr: 127.0.0.1
    kvstore:
      store: inmemory
  replication_factor: 1
  path_prefix: /tmp/loki
 
schema_config:
  configs:
  - from: 2020-05-15
    store: tsdb
    object_store: filesystem
    schema: v13
    index:
      prefix: index_
      period: 24h
 
storage_config:
  filesystem:
    directory: /tmp/loki/chunks

Создадим файл prometheus.yml


sudo nano prometheus.yml

📄 prometheus.yml


global:
  scrape_interval: 15s  # как часто опрашивать метрики
 
scrape_configs:
  - job_name: 'prometheus'
    static_configs:
      - targets: ['localhost:9090']
 
  - job_name: 'backend'
    metrics_path: '/api/metrics'
    static_configs:
      - targets: ['backend:3001']  # адрес внутри docker-сети

Создадим файл promtail-config.yaml


sudo nano promtail-config.yaml

📄 promtail-config.yaml


server:
  http_listen_port: 9080
  grpc_listen_port: 0
 
positions:
  filename: /tmp/positions.yaml
 
clients:
  - url: http://loki:3100/loki/api/v1/push
 
scrape_configs:
  - job_name: docker
    pipeline_stages:
      - docker: {}
 
    docker_sd_configs:
      - host: unix:///var/run/docker.sock
 
    relabel_configs:
      - source_labels: [__meta_docker_container_name]
        target_label: container
        regex: "/(.*)" # убираем слэш в начале имени
 
      - source_labels: [__meta_docker_container_id]
        target_label: container_id
 
      - source_labels: [__meta_docker_container_image]
        target_label: image
 
      - source_labels: [__meta_docker_container_labels_com_docker_compose_service]
        target_label: service
 
      - source_labels: [__meta_docker_container_log_path]
        target_label: __path__

Создадим файл datasources.yml


sudo nano datasources.yml

📄 datasources.yml


apiVersion: 1
 
datasources:
  - name: Prometheus
    type: prometheus
    access: proxy
    url: http://prometheus:9090
    isDefault: true
    editable: true
 
  - name: Loki
    type: loki
    access: proxy
    url: http://loki:3100
    editable: true

Далее нам необходимо изменить `docker-compose.yml` и добавить туда наши сервисы и конфигурации

В каждый сервис нашего приложения нужно добавить container_name это нам пригодится для отображения в Grafana

📄 docker-compose.yml


 container_name: db
 container_name: backend
 container_name: frontend

Добавляем сервис prometheus


  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./monitoring/prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'

Добавляем сервис grafana


  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
      - ./monitoring/datasources.yml:/etc/grafana/provisioning/datasources/datasources.yaml
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=admin
    depends_on:
      - prometheus

Добавляем сервис loki


  loki:
    image: grafana/loki:latest
    container_name: loki
    volumes:
      - ./monitoring/loki-config.yaml:/etc/loki/local-config.yaml

Добавляем сервис promtail


  promtail:
    image: grafana/promtail:latest
    container_name: promtail
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock
      - ./monitoring/promtail-config.yaml:/etc/promtail/config.yml
    command: -config.file=/etc/promtail/config.yml
    privileged: true

Таже нам необходимо добавть volumes для grafana


volumes:
  pgdata:
  grafana-storage:

Итоговый docker-compose.yml должен быть таким


services:
  db:
    image: postgres:16
    container_name: db
    environment:
      POSTGRES_USER: ${DB_USER}
      POSTGRES_PASSWORD: ${DB_PASSWORD}
      POSTGRES_DB: ${DB_NAME}
    volumes:
      - pgdata:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD", "pg_isready", "-U", "${DB_USER}"]
      interval: 10s
      timeout: 5s
      retries: 5
 
  backend:
    image: ${BACKEND_IMAGE}
    container_name: backend
    depends_on:
      db:
        condition: service_healthy
    environment:
      DB_HOST: db
      DB_PORT: 5432
      DB_NAME: ${DB_NAME}
      DB_USER: ${DB_USER}
      DB_PASSWORD: ${DB_PASSWORD}
    ports:
      - "4545:3001"
    healthcheck:
      test: ["CMD", "curl", "-f", "http://localhost:3001/api/health"]
      interval: 10s
      timeout: 5s
      retries: 3
      start_period: 5s
 
  frontend:
    image: ${FRONTEND_IMAGE}
    container_name: frontend
    ports:
     - "4546:80"
    depends_on:
      backend:
        condition: service_healthy
  prometheus:
    image: prom/prometheus:latest
    container_name: prometheus
    ports:
      - "9090:9090"
    volumes:
      - ./monitoring/prometheus.yml:/etc/prometheus/prometheus.yml
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
 
  grafana:
    image: grafana/grafana:latest
    container_name: grafana
    ports:
      - "3000:3000"
    volumes:
      - grafana-storage:/var/lib/grafana
      - ./monitoring/grafana/provisioning/datasources.yml:/etc/grafana/provisioning/datasources/datasources.yaml
    environment:
      - GF_SECURITY_ADMIN_USER=admin
      - GF_SECURITY_ADMIN_PASSWORD=admin
    depends_on:
      - prometheus
  loki:
    image: grafana/loki:latest
    container_name: loki
    volumes:
      - ./monitoring/loki-config.yaml:/etc/loki/local-config.yaml
  promtail:
    image: grafana/promtail:latest
    container_name: promtail
    volumes:
      - /var/lib/docker/containers:/var/lib/docker/containers:ro
      - /var/run/docker.sock:/var/run/docker.sock
      - ./monitoring/promtail-config.yaml:/etc/promtail/config.yml
    command: -config.file=/etc/promtail/config.yml
    privileged: true
volumes:
  pgdata:
  grafana-storage:

Настройка Dashboards Grafana

Нам нужно добавить два дашборда

Express.js Node Application Application Performance Dashboard — Дашборд для отображения состояния нашего бекенд приложения Node JS
Simple Loki Log Dashboard — Отображение логов из наших контенейров docker Loki logs

Настройка `nginx` для Grafana сервиса

⚙️ Настройка прокси

Создайте конфиг:


sudo nano /etc/nginx/sites-available/devops-grafana.it-incubator.io

Пример конфигурации


server {
    listen 80;  # Слушаем HTTP-запросы на 80 порту
 
    server_name devops-grafana.it-incubator.io;  # Указываем домен или публичный IP сервера
 
    location / {
        proxy_pass http://localhost:3000;  # Проксируем запросы на локальный Node.js-сервер (в контейнере)
        proxy_http_version 1.1;  # Используем HTTP/1.1 для поддержки веб-сокетов и keep-alive
 
        proxy_set_header Host $host;                 # Передаём оригинальный Host-заголовок
    }
 
}

Сохраните файл и примените:


# Создаём символическую ссылку из файла конфигурации в sites-available в папку sites-enabled,
# чтобы NGINX начал использовать этот конфиг (активируем сайт)
sudo ln -s /etc/nginx/sites-available/devops-grafana.it-incubator.io /etc/nginx/sites-enabled/
 
# Проверяем синтаксис конфигурации NGINX и ищем ошибки
sudo nginx -t
 
# Перезагружаем NGINX, чтобы применить новые настройки (без остановки сервера)
sudo systemctl reload nginx

Настройка домена и HTTPS через Let’s Encrypt


sudo certbot --nginx -d devops-grafana.it-incubator.io