Возможно вы искали: 'Dungeons & Dragons Tac...'

November 27 2024 09:52:10

Статистика

Статей: 87772
Просмотров: 93081860

Игры

Injustice: Gods Among Us ...
Dark Souls 2 Dark Souls II - вторая часть самой хардкорной ролевой игры 2011-2012 года, с новым героем, сюжето...
Battlefield 4 Battlefield 4 - продолжение венценосного мультиплеер-ориентированного шутера от первого ли...

Кино

Steins;Gate Любители японской анимации уже давно поняли ,что аниме сериалы могут дать порой гораздо больше пи...
Ку! Кин-дза-дза Начинающий диджей Толик и всемирно известный виолончелист Владимир Чижов встречают на шумной моск...

Обзоры на игры

• Обзор Ibara [PCB/PS2]	17928
• Обзор The Walking ...	18319
• Обзор DMC: Devil M...	19457
• Обзор на игру Valk...	15460
• Обзор на игру Stars!	17307
• Обзор на Far Cry 3	17501
• Обзор на Resident ...	15543
• Обзор на Chivalry:...	17034
• Обзор на игру Kerb...	17530
• Обзор игры 007: Fr...	16141

Превью о играх

• Превью к игре Comp...	17563
• Превью о игре Mage...	14076
• Превью Incredible ...	14318
• Превью Firefall	13080
• Превью Dead Space 3	15917
• Превью о игре SimC...	14322
• Превью к игре Fuse	15029
• Превью Red Orche...	15149
• Превью Gothic 3	15879
• Превью Black & W...	17004

Главная » Статьи » Разное » Построение системы сбора логов и мониторинга удаленных систем (log monitor nagios stunnel crypt freebsd)

Построение системы сбора логов и мониторинга удаленных систем (log monitor nagios stunnel crypt freebsd)

Ключевые слова: log, monitor, nagios, stunnel, crypt, freebsd, (найти похожие документы)

From: Michail V. Chernogorsky <jamper@hotbox.ru.>
Newsgroups: email
Date: Mon, 28 Feb 2005 14:31:37 +0000 (UTC)
Subject: Построение системы сбора логов и мониторинга удаленных систем

Полу-автоматизированная установка централизованной системы сбора логов
(syslog-ng+stunnel) и мониторинга за состоянием удаленных систем (nagios)

Для кого статья:

Статья предназначена для админов малых сетей (5-10 серверов)

От автора:

Статья - результат переработки куска моего дипломного проекта,
защищенного в этом году. Поставили 4.

К сожалению при написании диплома приходилось сильно упрощать язык
описания. А времени на переработку нет.

Возможно что система не заведется сразу, необходимо будет добавить кое
какие каталоги на security кое что подправить, добавить пользователей.
За давностью первоначального развертывания востановить полностью
последовательность не удалось. Буду признателен сообщение о любые
неточностях замеченных в данной статье (jamper@hotbox.ru)

Примечание: все скрипты исправленны на использование доменов
domain.ru; пользователя установщик jamper, для работы необходимо
исправить файлы, перепаковать архивы.

При разработке структуры пользовался статьями с опеннета и других
источников:

- Установка системы нагиос: http://www.opennet.ru/docs/RUS/nagios_setup/
- Построение защищенного log-сервера: http://www.opennet.ru/opennews/art.shtml?num=4377

Другие статьи, к моему сожалению, я не записал источники

Используется следующия стуктура:

Есть централизованный сервер безопасности и отдельные узлы. На них
устанавливается система централизованого сбора логов (syslog-ng+stunnel)
и средства мониторинга состояния (nagios plugin). Статья является
результатом переработки статьи на opennet.ru (установка
syslog-ng+stunnel).

На центральном сервере (security) устанавливается сервер syslog-ng,
stunnel, nagios

Схема работы логов:

Клиент -> tcp://localhost:514 -> stunnel -> tcp://security:5000

Авторизация клиентов на security ведется по сертефикатам, что
существенно усложняет подмену логов.

Схема работы системы проверки:

Клиент -> выполнение операций проверки (например df) -> локальный
обработчик (со стандартным выводом в последней строке) -> scp client:/.
nagios@security:/files -> проверка nagios_plugin (самописный скрипт,
проверяющий по двум критериям: последняя строчка с уже указанным
результатом и проверкой времени файла, что позволяет отсеять старые
результаты)

Приведенный df - лишь один из вариантов, предложенная схема позволяет
легко организовавать удаленный мониторинг других параметров (для сетевых
систем - текущая загрузка сетевой подсистемы, .... )

Используются скрипты автоматической установки, что позволяет развернуть
систему на клиенской машине syslog-ng+stunnel ~ 15 минут nagios - 3-5
минут. Скрипты можно скачать здесь: http://www.opennet.ru/soft/remote_log_mon.tar.gz

Примечания по безопасности:

1.Все машины клиенты имеют ссш доступ без пароля на security
(рекомендуется применять shell scp-only)

2.Логи со всей системы стекаются на security, что ставит вопрос о
защите самой машины security на первое место.

Установка сервера безопасности.

На сервер безопасности необходимо установить стабильную версию ОС
FreeBSD. На момент написания работы 5-Stable.

Сразу после установки на сервер необходимо установить следующее ПО:

- Nagios
- Syslog-ng (server)
- Stunnel (server)

Установка системы мониторинга Nagios

Устанавливаем необходимые компоненты для работы системы:

- zlib (v 1.1.4+)
- libpng (v 1.2.5+)
- jpeg (v 6+)
- gd (v 2.0.6+)
- apache 2
- Nagios (1.06b+)

Все дополнительные пакеты можно устанавливать любым способом.

Рассмотрим специфику установки П.О. Nagios

Необходимо создать пользователя nagios состоящим в группе nagios

#adduser

Конфигурация сборки

#./configure --prefix=/sur/local/nagios --with-cgi-url=nagios/cgi-bin --with-html-url=/nagios/
--with-nagios-user=nagios --with-nagios-grp=nagios --with-gd-lib=/usr/local/lib
--with-gd-inc=/usr/local/include/gd

Описание опций:

--prefix=/sur/local/nagios каталог, куда будет помещен собранный пакет

--with-cgi-url=nagios/cgi-bin - URL относительно корневого веб сайте, где
будут находиться cgi скрипты

--with-html-url=/nagios/ - URL относительно корневого web сайта, где
будет располагается сам сайт системы мониторинга

--with-nagios-user=nagios Пользователь, которому будут принадлежать
файлы инсталляции

--with-nagios-grp=nagios - Группа, которой будут принадлежать файлы
инсталяции

--with-gd-lib=/usr/local/lib - Путь к графической библиотеке

--with-gd-inc=/usr/local/include/gd - Путь к заголовочным файлам
графической библиотеки

Собираем и устанавливаем пакет

#make
#make install

Собираем скрипт автоматического запуска системы:

#make install-init

Примечание: в некоторых версиях ПО Nagios в make файле присутствует
ошибка, из-за которой данная команда не может быть выполнена. В ранних
версиях присутствовала проблема, которую можно было решить :

- Заменить INIT_OPTS=-o root -g=root на INIT_OPTS=-o root -g=wheel

- Заменить
$(INSTALL) -m 774 $(INIT_OPTS) daemon-init $(DESTDIR)$(INITDIR)/nagios
на
$(INSTALL) -m 100 $(INIT_OPTS) daemon-init $(DESTDIR)$(INITDIR)/nagios.sh

- Сохранить файл MakeFile

- Выполняем команду инсталляции make install-init

Т.о должен создастся файл автоматического запуска

/usr/local/etc/rc.d/nagios.sh

Проверить можно

#/usr/local/etc/rc.d/nagios.sh start
# ps -ax | grep nagios
51102 ?? Ss 0:00.66 /usr/local/nagios/bin/nagios -d
/usr/local/nagios/etc/nagios.cfg

Так же рекомендуется установить пакет дополнительных модулей Nagiosplug.

Настройка системы

Необходимо выполнить начальную настройку системы. Полные файлы
конфигурации системы мониторинга приведены в приложении 14.4, поэтому
остановимся только на значимых моментах. Все конфигурационные файлы
находятся в /usr/local/nagios/etc

cgi.cfg

use_authentication=1 - включение авторизации пользователей на сайте

hosts.cfg

define host{
name generic-host

# Включаем уведомления
notifications_enabled 1

# Включаем обработчик событий
event_handler_enabled 1

# Включаем обнаружение мерцания
flap_detection_enabled 1

# Собирать статистику об эффективности работы процесса
process_perf_data 1

# Сохранять статусную информацию между перезагрузками программы
retain_status_information 1

# Сохранять нестатусную информацию между перезагрузками программы
retain_nonstatus_information 1

# Указываем, что все вышеописанное - это шаблон. Запрещаем
регистрировать

# это описание как хост
register 0
}

Добавление серверов

Каждый сервер, маршрутизатор, устройство, которое мы хотим наблюдать в
систему мониторинга должно быть описано в файле Hosts.cfg

Рассмотрим описание маршрутизатора gwO

define host{
use generic-host
# Имя хоста. Также стоит обратить внимание на изменившиеся записи alias и address.
host_name gwo
alias gwO server
address 192.168.10.1
#parents main
check_command check-host-alive
max_check_attempts 10
notification_interval 120
notification_period 24x7
notification_options d,u,r
}

Важными являются:

- host_name - имя сервера, используется для настройки
- alias - текстовое описание, используется в уведомлениях
- address - IP адрес сервера
- max_check_attempts - параметры проверки
- notification_interval - интервал между повторными сообщениями о ошибке
- notification_period - инервал, когда можно сообщать об ошибке
- notification_options - дополнительные опции
- parents - родитель, позволяет строить иерархические связи

Любое устройство может быть описано таким образом.

Добавление службы в систему мониторинга:

Например для gwO - работа шифрованного канала gwO-gwD и работа самого
сервера

services.cfg

# Описываем сервис PING для хоста gwO

define service{
use generic-service
host_name gwo
service_description PING
is_volatile 0
check_period 24x7
max_check_attempts 3
normal_check_interval 5
retry_check_interval 1
contact_groups admins
notification_interval 120
notification_period 24x7
notification_options w,u,c,r
check_command check_ping!100.0,20%!500.0,60%
}

# Описываем сервис gwO-gwD канал для хоста gwO

define service{
use generic-service
host_name gwo
service_description gwO-gwD cripto
is_volatile 0
check_period 24x7
max_check_attempts 3
normal_check_interval 5
retry_check_interval 1
contact_groups admins
notification_interval 120
notification_period 24x7
notification_options w,u,c,r
check_command check_ping_by_ip!192.168.11.1!100.0,20%!500.0,60%
}

Установка системы шифрованных каналов stunnel

Установить систему stunnel

cd /usr/ports/security/stunnel
make
make install

Создать БАЗОВЫЙ сертификат

ssh-keygen -t rsa

Сохранить результат в текущий каталог под названием ca.key

openssl rsa -in ca.key -out ca.pem
openssl req -new -key ca.key -out ca.csr
openssl x509 -req -days 6000 -in ca.csr -signkey ca.key -out ca.crt

Примечание: в реальной системе базовый сертификат отдается на подписание
в стороннюю организацию.

Создать сертификат для системы stunnel

ssh-keygen -t rsa

Сохранить результат в текущий каталог под названием cserver.key

openssl rsa -in cserver.key -out cserver.pem
openssl req -new -key cserver.key -out cserver.csr

Подписать сертификат cserver.csr базовым сертификатом

./sign.sh cserver.csr

Примечание: sign.sh можно взять из дистрибутива Apache::mod_ssl

Создать сертефикат тунеля

#cat cserver.crt ca.crt > cserver.crt
#cp cserver.crt /home/nagios/script/cert/cserver.crt
#cp cserver.crt usr/local/etc/stunnel/server.crt
#cp cserver.key usr/local/etc/stunnel/server.key

Настроить туннель

# mkdir /var/run/stunnel

/usr/local/etc/stunnel

cert = /usr/local/etc/stunnel/server.crt
key = /usr/local/etc/stunnel/server.key
CAfile = /usr/local/etc/openssl/cert/client.pem
chroot = /var/run/stunnel
pid = /stunnel.pid
setuid = stunnel
setgid = stunnel
verify = 3
output = /var/log/stunnel.log
[syslogd]
accept = 5000
connect = 514

Запустить stunnel

#/usr/local/etc/rc.d/stunnel.sh start

/home/jamper/script/syslog_ng/cert/cserver.crt должен содержать
созданный сертефикат сервера.

Установка системы логов syslog-ng

Установка системы

#cd /usr/ports/sysutils/syslog-ng
#make
#make install

Настройка системы

файл /usr/local/etc/syslog-ng/syslog-ng.conf

filter fh_security { host("security");};
#
# destinations security
#
destination security_messages { file("/var/log/security/messages"); };
destination security_security { file("/var/log/security/security"); };
destination security_maillog { file("/var/log/security/maillog"); };
destination security_lpd-errs { file("/var/log/security/lpd-errs"); };
destination security_cron { file("/var/log/security/cron"); };
destination security_auth { file("/var/log/security/auth.log"); };
destination security_consolelog { file("/var/log/security/console.log"); };
destination security_newscrit { file("/var/log/security/news/news.crit"); };
destination security_newserr { file("/var/log/security/news/news.err"); };
destination security_newsnotice { file("/var/log/security/news/news.notice"); };
destination security_slip { file("/var/log/security/slip.log"); };
destination security_ppp { file("/var/log/security/ppp.log"); };
destination security_console { file("/var/log/security/console"); };

#security

log { source(src); filter(f_err);filter(fh_security);
filter(fh_security); destination(security_console); };

log { source(src); filter(f_kern);filter(fh_security); filter(f_debug);
destination(security_console); };

log { source(src); filter(f_auth);filter(fh_security);
destination(security_auth); };

log { source(src); filter(f_authpriv);filter(fh_security);
destination(security_auth); };

log { source(src); filter(f_mail);filter(fh_security); filter(f_crit);
destination(security_console); };

log { source(src); filter(f_notice);filter(fh_security);
destination(security_messages); };

log { source(src); filter(f_kern);filter(fh_security); filter(f_debug);
destination(security_messages); };

log { source(src); filter(f_lpr);filter(fh_security); filter(f_info);
destination(security_messages); };

log { source(src); filter(f_mail);filter(fh_security); filter(f_crit);
destination(security_messages); };

log { source(src); filter(f_news);filter(fh_security); filter(f_err);
destination(security_messages); };

log { source(src); filter(f_security);filter(fh_security);
destination(security_security); };

log { source(src); filter(f_mail);filter(fh_security); filter(f_info);
destination(security_maillog); };

log { source(src); filter(f_cron);filter(fh_security);
destination(security_cron); };

#log { source(src); destination(pppoe_all); };

log { source(src); filter(f_slip);filter(fh_security);
destination(security_slip); };

log { source(src); filter(f_ppp);filter(fh_security);
destination(security_ppp); };

Удаляем старую систему логов

#kill -9 `cat /var/run/syslogd.pid`

Добавляем в /etc/rc.conf

syslogd_enable="NO"
syslogd_flags=""

Запускаем сервер логов

# /usr/local/etc/rc.d/syslog-ng.sh stop

Настройка клиентов

Настройка системы логов

Получить скрипт установки с сервера безопасности

#scp nagios@security.rgrta.edu:~/script/syslog_ng/install.sh .

Запустить процесс инсталляции

#sh ./install.sh

Примечание:

- Необходимо вводить пароль на сервер безопасности.

- Необходимо выполнять действия запрашиваемые скриптом

- Создаваемым пользователям не нужен шел, и авторизация по паролью

- Операция установки является перезапускаемой, т.е. в случае возникновения
проблем необходимо устранить неполадки и снова запустить скрипт, за
исключением создания пользователя. Если пользователь уже был создан, то
необходимо закомментировать строчку создания пользователя в скрипте,
либо удалить пользователя

Необходимо подписать полученные сертификаты на центре сертификации (в
нашем случае центром сертификации выступает security)

#sign.sh gwo.rgrta.edu.key.csr

Запуск на gwo окончания установки

# sh ./after_sign.sh

Внимательно прочитать и выполнить операции, которые скрипт не может
выполнить в автоматическом режиме

Добавить полученный сертификат сервера в базу сертификатов stunnel
сервера безопасности

# cat gwo.rgrta.edu.crt.strip >> /usr/local/etc/openssl/client.pem

Перезапустить сервер stunnel на сервере безопасности

# /usr/local/etc/rc.d/stunnel.sh stop
# /usr/local/etc/rc.d/stunnel.sh start

Запустить stunnel на клиентской машине. Проверить, что обмен
сертификатами завершился успешно (/var/run/stunnel/stunnel.log)

# /usr/local/etc/rc.d/stunnel.sh start
# telnet localhost 514

На сервере безопасности добавляем в файл
/usr/local/etc/syslog-ng/syslog-ng.conf

filter fh_gwo { host("gwo");};
#
# destinations gwo
#

destination gwo_messages { file("/var/log/gwo/messages"); };
destination gwo_security { file("/var/log/gwo/security"); };
destination gwo_maillog { file("/var/log/gwo/maillog"); };
destination gwo_lpd-errs { file("/var/log/gwo/lpd-errs"); };
destination gwo_cron { file("/var/log/gwo/cron"); };
destination gwo_auth { file("/var/log/gwo/auth.log"); };
destination gwo_consolelog { file("/var/log/gwo/console.log"); };
destination gwo_newscrit { file("/var/log/gwo/news/news.crit"); };
destination gwo_newserr { file("/var/log/gwo/news/news.err"); };
destination gwo_newsnotice { file("/var/log/gwo/news/news.notice"); };
destination gwo_slip { file("/var/log/gwo/slip.log"); };
destination gwo_ppp { file("/var/log/gwo/ppp.log"); };
destination gwo_console { file("/var/log/gwo/console"); };

#gwo

log { source(src); filter(f_err);filter(fh_gwo); filter(fh_gwo);
destination(gwo_console);};

log { source(src); filter(f_kern);filter(fh_gwo); filter(f_debug);
destination(gwo_console); };

log { source(src); filter(f_auth);filter(fh_gwo);
destination(gwo_auth); };

log { source(src); filter(f_authpriv);filter(fh_gwo);
destination(gwo_auth); };

log { source(src); filter(f_mail);filter(fh_gwo); filter(f_crit);
destination(gwo_console); };

log { source(src); filter(f_notice);filter(fh_gwo);
destination(gwo_messages); };

log { source(src); filter(f_kern);filter(fh_gwo); filter(f_debug);
destination(gwo_messages); };

log { source(src); filter(f_lpr);filter(fh_gwo); filter(f_info);
destination(gwo_messages); };

log { source(src); filter(f_mail);filter(fh_gwo); filter(f_crit);
destination(gwo_messages); };

log { source(src); filter(f_news);filter(fh_gwo); filter(f_err);
destination(gwo_messages); };

log { source(src); filter(f_security);filter(fh_gwo);
destination(gwo_security); };

log { source(src); filter(f_mail);filter(fh_gwo); filter(f_info);
destination(gwo_maillog); };

log { source(src); filter(f_cron);filter(fh_gwo); destination(gwo_cron);};

#log { source(src); destination(pppoe_all); };

log { source(src); filter(f_slip);filter(fh_gwo); destination(gwo_slip);};

log { source(src); filter(f_ppp);filter(fh_gwo); destination(gwo_ppp);};

Перезапускаем сервер логов на сервере безопасности

# /usr/local/etc/rc.d/syslog-ng.sh stop
# /usr/local/etc/rc.d/syslog-ng.sh start

В логе /var/log/gwo/messeges появилось

Dec 14 23:57:31 voipgk syslog-ng[85270]: io.c: do_write: write() failed (errno 32), Broken pipe
Dec 14 23:57:31 voipgk syslog-ng[85270]: pkt_buffer::do_flush(): Error flushing data
Dec 14 23:57:31 voipgk syslog-ng[85270]: Connection broken to
AF_INET(127.0.0.1:514), reopening in
Dec 14 23:59:07 voipgk syslog-ng[85270]: STATS: dropped 0

Что свидетельствует о начале работы лог сервера.

Для работы такой схемы нужно наличие 2х сертификатов

1. Базового, которым производится подписывание всех сертификатов. При
наличии возможности и необходимости его необходимо подписать у
регистрирующих центров

2. Сертификата сервера stunnel, подписанного базовым.

Все сертификаты узлов подписываются базовым сертификатом.

Примечание: На самом деле их можно подписывать и другими сертификатами,
но для малой сети достаточно одного базового сертификата.

Настройка проверки места на диске

Добавить пользователя nagios из группы nagios. Для него можно запретить
авторизации по паролю, но необходимо оставить консоль.

#adduser

Перейти под аккаунт данного пользователя

#su - nagios
>

Получить скрипт установки с сервера безопасности

> scp nagios@security.rgrta.edu:~/script/install.sh install.sh

Выполнить установщик

>sh ./install.sh

На все предложеные вопросы (за исключением запроса пароля для scp)

Установка периодически выполняемой операции

> crontab crontab

На сервере необходимо выполнить следующие операции

Добавить сгенерированные ключи в файл разрешенных для беспарольной
авторизации.

security# cat /home/nagios/$host.*.pub > /home/nagios/files/.ssh/authorized_keys

где $host- сервер, на котором были сгенерированные файлы. Необходимо
очень внимательно следить, чтобы в файл authorized_keys не попали
"чужие" данные.

Добавить описание сервиса в services.cfg

define service{
use generic-service
host_name gwO
service_description df
is_volatile 0
check_period 24x7
max_check_attempts 3
normal_check_interval 50
retry_check_interval 30
contact_groups admins
notification_interval 120
notification_period 24x7
notification_options w,u,c,r
check_command check_by_file!/usr/home/nagios/files/gwO.df.log!50!
}

В качестве второго параметра передается время в минутах, после которого
файл считается устаревшим и генерируется ошибка.

Приложение

Скрипты для автоматической установки
http://www.opennet.ru/soft/remote_log_mon.tar.gz

Ссылки

HTML:
[BB Url]:

Похожие статьи
Название	Добавил	Добавлено
• Построение системы сбора логов и мо...	Vova	08.05.2012

Ни одного комментария? Будешь первым :).

Пожалуйста, авторизуйтесь для добавления комментария.

Статьи

Рецензия на Pressure Чтобы обратить на себя внимание, начинающие маленькие разработчики, как правило, уходят в жанры, ...
Рецензия на Lost Chron... Игры, сделанные без любви и старания, похожи на воздушный шар – оболочка есть, а внутри пусто. Lo...
Рецензия на The Bridge «Верх» и «низ» в The Bridge — понятия относительные. Прогуливаясь под аркой, можно запросто перей...
Рецензия на SimCity Когда месяц назад состоялся релиз SimCity, по Сети прокатилось цунами народного гнева – глупые ош...
Рецензия на Strategy &... Название Strategy & Tactics: World War II вряд ли кому-то знакомо. Зато одного взгляда на ее скри...
Рецензия на игру Scrib... По сложившейся традиции в информационной карточке игры мы приводим в пример несколько похожих игр...
Рецензия на игру Walki... Зомби и продукция-по-лицензии — которые и сами по себе не лучшие представители игровой биосферы —...