Grafana #30

Antom91 · 2019-06-13T07:08:34Z

Hello, I added Grafana to your project. How Its work? Grafana connects by alexanderzobnin-zabbix-app plugin to Zabbix and gets some information about server activity, then Grafana shows you dashboards to you.

Grafana worked by Pass Proxy, if you start all containers, you can view Grafana like this http://localhost/grafana

Grafans`s data storage is located by path ./data/ path.

You can debug this project by Vagrant

mdihtyar · 2019-06-13T08:41:49Z

docker-compose.yml

+      - /data/provisioning/dashboards:/etc/grafana/provisioning/dashboards
+      - /data/provisioning/datasources:/etc/grafana/provisioning/datasources
+      - ./scripts/zabbix_dashboards:/var/lib/grafana/dashboards
+      - ./scripts/grafana.ini:/etc/grafana/grafana.ini:ro


Почему конфиг находится в каталоге со скриптами?

исправлю.

mdihtyar · 2019-06-13T08:43:46Z

scripts/ldap.toml

@@ -0,0 +1,64 @@
+# To troubleshoot and get more log info enable ldap debug logging in GrafanA.ini


Как я могу сюдя кастомные значения закинуть? Только вручную, но конфиг в репозитории, будут конфликты

mdihtyar · 2019-06-13T08:44:39Z

scripts/configurator.py

+
+    def grafana_configurator(self):
+        #DATASOURCE.YAML
+        yaml_file_ds = open(self.grafana_datas_yaml, 'w')


Я думаю, что может есть чучуть получшее формат создания yaml объекта. Посмотри пожалуйста и переформатируй этот блок.

Да , есть модули для создания YAML, но они либо создают как то криво, либо не создают то что нужно. я потратил на них пол дня, но я ещё раз на свежую голову посмотрю что там есть..

mdihtyar · 2019-06-13T08:44:59Z

scripts/configurator.py

+
+        #DASHBOARD.YAML
+        yaml_file_db = open(self.grafana_dashb_yaml, 'w')
+        yaml_file_db.write('apiVersion: 1\n\n')


тоже самое ^^^

mdihtyar · 2019-06-13T08:46:02Z

scripts/configurator.py

+        yaml_file_db.close()
+        #Grafana Port Checker (need for check, if server start?)
+        while True:
+            time.sleep(1)


Сколько ты будешь ждать, пока графана заработает?, Я так понимаю тут бесконечный цикл. Правильно?

не бесконечный цикл, тут идет порт чек. как только графана доступна цикл завершается. Иногда бывало так , что графана загружалась позже выполнения скриптов и выдавало ошибку. Допишу кое что, что бы в случаи если графана не подымится, цикл закончился через какое то время))

mdihtyar · 2019-06-13T08:55:58Z

scripts/configurator.py

+        #Grafana Port Checker (need for check, if server start?)
+        while True:
+            time.sleep(1)
+            sock = socket.socket(socket.AF_INET, socket.SOCK_STREAM)


Можно ли избежать создание сокета при каждой итерации, можно ли использовать только sock.connect_ex при пробе конекшена?

mdihtyar · 2019-06-13T08:56:51Z

scripts/configurator.py

+                logger.debug("Grafana Server is Started")
+                self.grafana_plugin_on() #Enable Plugin
+                self.grafana_dashboard_starred() #Add all dashboards to favorite
+                sock.close()


тоже самое касается закрытие сокета, желательно закрыть его в конце всей процедуры, а не при каждой итерации

Нет реакции на коментарий. по поводу закрытия порта при каждой итерации

mdihtyar · 2019-06-13T08:57:50Z

scripts/nginx.conf

@@ -0,0 +1,78 @@
+server {
+    listen          80;


Почему конфиг находится в каталоге со скриптами?

понял ошибку. исправлю

bilonic · 2019-06-13T09:29:54Z

docker-compose.yml

+    networks:
+      - zabbix_net
+    volumes:
+      - /data/grafana:/var/lib/grafana


точно /data а не ./data?
як по мені то краще б десь кучніше тримати данні

bilonic

перенести конфіг файли в окрему папку з конфігами, і можливо створити файли з прикладами конфігів

mdihtyar · 2019-06-13T12:01:51Z

readme.md

@@ -21,7 +21,7 @@ Requirements

 ### Preparing configuration file for server

-If default options are not enough, then please use `.env.example` to create own environment configuration file.
+Tou need to create configuration file `.env` from `.env.example`


Не понял суть изменения? В предыдущем сказано, что если дефолтных значений не достаточно, то можно использовать собственный конфиг. .env не обязательный должен быть, без него должно стартовать.

у меня без него почему то не стартовало, связано с паролем админа от графаны, я ещё раз более тщательно проверю и сделаю исправление.

mdihtyar · 2019-06-13T12:02:22Z

readme.md

@@ -33,7 +33,7 @@ Zabbix agent on host machine, where Zabbix server works inside the docker enviro

 #### Run and configured only server components
 ```shell
-$ docker-compose up -d
+$ docker-compose up -d && docker restart $(docker ps -q)


зачем рестартовать все контейнеры после старта?

это нужно для того что бы графана смогла подключить все файлы, без рестарта контейнера с графаной, например yml файлы не принимало, лишь после рестарта.

может проблема в чем-то другом, должна заработать сразу же, такой подход не очень, нужно попытаться решить проблему как-то по другому.

mdihtyar · 2019-06-13T12:03:27Z

.travis.yml

    - cp .env.example .env
+    - docker-compose stop -t 0 && sudo rm -f ./data/


я понял, почему так сделано, но docker-compose.yml должен быть разработанный таким образом, чтобы .env не был обязательным. Он должен быть опциональным.

в .env файле хранится пароль от графаны, который тянется в саму графану и в конфигуратор. Мне показалось что вариант хранения пароля в docker-compose.yml неправильный. Но только что я придумал ещё один вариант реализации... хм... Позже внесу его.

mdihtyar · 2019-06-19T21:51:58Z

scripts/configurator.py

+
+    def grafana_configurator(self):
+#Datasource.yaml Template generation
+        tmpl = Template(u'''\


Можно этот шаблон вынести в отдельный файл, чтобы в конфигураторе не было такого типа описания?

имеется введу вынести код генерации YAML файлов в отдельный файл?

Да, вынести код шаблона во внешний файл. К примеру в каталог configuration и обозвать файлы <name>.yaml.tmpl

понял, занимаюсь

mdihtyar · 2019-06-19T21:52:23Z

scripts/configurator.py

+        ds_file.close()
+
+#Dashboard.yaml Template generation
+        tmpl = Template(u'''\


Тоже самое касается и этого шаблона

вопрос, если у тебя нет сложных конструкций, типа циклов и т.п, можно ли воспользоваться стандартнымы средствами python для генерации таких простых шаблонов?
к примеру https://pyformat.info/

Да, можно, такой вариант тоже должен работать хорошо

mdihtyar · 2019-06-19T21:55:41Z

scripts/configurator.py

+                logger.debug("Grafana Server is Started")
+                self.grafana_plugin_on() #Enable Plugin
+                self.grafana_dashboard_starred() #Add all dashboards to favorite
+                sock.close()


Нет реакции на коментарий. по поводу закрытия порта при каждой итерации

mdihtyar · 2019-06-19T21:58:02Z

x-setup-agent.sh

@@ -189,3 +190,7 @@ echo "Done."
 printf "Removing dangling data. "
 rm -f /tmp/zabbix-release.deb
 echo "Done."
+
+printf "Restarting All Containers"
+docker restart $(docker ps -q) > /dev/null


Зачем перезапускать все контейнеры? они должны запуститься и работать сразу.

установка агента производится на сервере, где возможно не будет еще контейнеров, есть подозрение, что на этом месте скрипт упадет.

mdihtyar · 2019-06-19T22:00:49Z

readme.md

@@ -33,7 +33,7 @@ Zabbix agent on host machine, where Zabbix server works inside the docker enviro

 #### Run and configured only server components
 ```shell
-$ docker-compose up -d
+$ docker-compose up -d && docker restart $(docker ps -q)


может проблема в чем-то другом, должна заработать сразу же, такой подход не очень, нужно попытаться решить проблему как-то по другому.

mdihtyar · 2019-06-19T22:03:34Z

docker-compose.yml

+      - GF_AUTH_LDAP_CONFIG_FILE=${GF_AUTH_LDAP_CONFIG_FILE:-/etc/grafana/ldap_custom.toml}
+      - GF_AUTH_LDAP_ALLOW_SIGN_UP=${GF_AUTH_LDAP_ALLOW_SIGN_UP:-true}
+      ##########LDAP CONFIG ENVIROMENTS##########
+      - LDAP_GF_HOST=${LDAP_GF_HOST:-172.17.0.1}


какой вариант можно предложить, если я не хочу LDAP подключать, имею ли я право выбора. К примеру у деплоя забикса есть такая возможность, хочешь используй внутреннюю аутентификаци, а хочешь LDAP. Твои предложения?

Я этот момент учел, у графаны по стандартному работает как и внутренняя аутентификация так и параллельно авторизация через LDAP, то есть, если LDAP упадет то внутренняя работать будет, поэтому сделал возможность включения и отключения LDAP через GF_AUTH_LDAP_ENABLED=true, Даже если LDAP упал или ещё что то, всё продолжает работать хорошо кроме авторизации через LDAP, логи выведут определенную ошибку.

mdihtyar · 2019-06-19T22:04:20Z

docker-compose.yml

+      - ./data/provisioning/datasources:/etc/grafana/provisioning/datasources
+      - ./scripts/zabbix_dashboards:/var/lib/grafana/dashboards
+      - ./configuration/grafana.ini:/etc/grafana/grafana.ini:ro
+    restart: unless-stopped


вижу повтор restart: опции в сервисе, убери пожалуйста дубликат

уже и сам заметил... видимо случайно добавил, исправил...

mdihtyar · 2019-06-19T22:05:35Z

docker-compose.yml

+    restart: unless-stopped
+    environment:
+      - GF_SECURITY_ADMIN_PASSWORD=${GF_SECURITY_ADMIN_PASSWORD:-grafana}
+      - GF_AUTH_LDAP_ENABLED=${GF_AUTH_LDAP_ENABLED:-true}


получается по-умолчанию предлагается всегда LDAP аутентификация. Можно ли здесь поставить false по умолчанию? Что будет?

Да, если поставим false то будет работать внутренняя авторизация, LDAP будет отключен. Сейчас же, если развернуть всё это дело и не подключать LDAP но там будет стоять true, ничего критического не произойдет, логи выведут сообщение о том что нет коннекта с LDAP и продолжит работать на внутренней авторизации.
С замечанием согласен, я думаю лучше что бы здесь было false изначально

а можно сделать, если будет false, вообще убрать раздел касающий LDAP?

Раздел касающийся LDAP это что ? там по сути к LDAP относятся только переменные, которые нужны для генерации конфига, не более. Ну и часть кода, которая относится к созданию конфигурационного файла, но она в run.sh

mdihtyar · 2019-06-19T22:06:46Z

Dockerfile.configurator

@@ -9,6 +9,7 @@ RUN apt-get update && \
      libssl-dev \
      python-pip && \
    pip install \
+      jinja2 \


Может есть вариант избежать установки jinja2, если не нужно обрабатывать сложные шаблоны?

Например .format()

да, как вариант

mdihtyar · 2019-06-19T22:07:21Z

Dockerfile.grafana

@@ -0,0 +1,11 @@
+FROM grafana/grafana:latest


Всегда фиксируем версию базового образа, никогда не привязываемся к latest

Сделал

mdihtyar · 2019-06-19T22:10:55Z

.env.example

@@ -18,3 +18,34 @@ DEFAULT_HOST_SECRET=8201e33f60093f2ce49f1abe6be8*****
 URL_LIST=[{"name":"localhost","url":"http://localhost","priority":4},{"name":"github.com","url":"https://github.com","priority":4}]
 ZBX_CONFIG={"authentication_type":0,"ok_period":"1d"}
 ZBX_ADMIN_USERS=[{"name":"user","password":"password"},{"name":"user1","password":"password"}]
+GF_SECURITY_ADMIN_PASSWORD=grafana
+GF_AUTH_LDAP_ENABLED=true
+GF_AUTH_LDAP_CONFIG_FILE=/etc/grafana/ldap_custom.toml


если есть какой-то статический конфиг, не нужно его оглашать в общем конфиги, можно сделать это или в Dockerfile или же в docker-compose. В конфиг выносим, только все очень важное

понял, сделал

Antom91 added 13 commits June 6, 2019 10:39

some changes

0853623

Include the grafana to project

93a33da

Still add Grafana

fea55ff

Fix many bugs with Grafana

7a4ffc1

Add Some fixes

79ae9ff

Add local configs for Grafana and add ProxyPass for Grafana

5c52174

Make dashboards view with pass_proxy

0d05cf7

Add condition for more one dashboard.json file

bfbdde3

fix of code, add some env

0d40dea

Some changes

84bc0e6

uncomment Vagrantfile

62184c1

changes

e9db1f9

try to fix travis

f239894

mdihtyar requested changes Jun 13, 2019

View reviewed changes

mdihtyar requested a review from bilonic June 13, 2019 09:00

bilonic reviewed Jun 13, 2019

View reviewed changes

bilonic suggested changes Jun 13, 2019

View reviewed changes

changes

8b669ba

mdihtyar requested changes Jun 13, 2019

View reviewed changes

Antom91 added 6 commits June 13, 2019 19:48

Some changes for .env file and .travis.yml

d2662c8

Create LDAP config file generation

85cfca3

Edit Readme.md

b5c3595

changed configs dir

bf28eef

Change YAML file generation

52d76ac

changed Grafana Entrypoint dir

a7a7434

mdihtyar requested changes Jun 19, 2019

View reviewed changes

mdihtyar reviewed Jun 19, 2019

View reviewed changes

Antom91 added 3 commits June 20, 2019 10:10

Changes. Fix YAML Generation

6751c64

Clear not needed jinja2

96b5a55

now not need to restart containers:)

2618337

Antom91 added 2 commits June 20, 2019 11:53

Add ARG ro Dockerfile.Grafana

36848ed

Disable LDAP cfg generation if LDAP auth is false

84d3ba3

		@@ -0,0 +1,64 @@
		# To troubleshoot and get more log info enable ldap debug logging in GrafanA.ini

		- cp .env.example .env
		- docker-compose stop -t 0 && sudo rm -f ./data/

Grafana #30

Are you sure you want to change the base?

Grafana #30

Uh oh!

Conversation

Antom91 commented Jun 13, 2019 • edited by mdihtyar Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Antom91 Jun 13, 2019 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Antom91 Jun 13, 2019 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

bilonic left a comment

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Antom91 commented Jun 13, 2019 •

edited by mdihtyar

Loading

Antom91 Jun 13, 2019 •

edited

Loading

Antom91 Jun 13, 2019 •

edited

Loading