From: Дмитрий Лутай <dimoon_lda@ukr.net.>
Newsgroups: http://dimoon.kiev.ua
Date: Mon, 20 Sep 2004 18:21:07 +0000 (UTC)
Subject: Построение системы учета трафика с хранением результатов в БД
Построение системы учета трафика с хранением результатов в базе данных
После установки и настройки файервола, естественной задачей является
подсчет трафика, проходящего через него.
Задача
Поствалена задача осуществить подсчёт траффика проходящего через
FIREWALL на базе FreeBSD, не применяя коммерческих средств учета
трафика.
Необходимые инструменты
Для ведения статистики по трафику понадобятся следующие инструменты:
- SQL-сервер. Для хранения собранной информации. В принципе подойдет
любой. В нашем примере это FireBird.
- Рабочая станция, на которой работает PHP, команда sh, и программа
которая умеет запускать процессы по расписанию. Для этих целей
идеально подходит любой UNIX-сервер.
В качестве файервола используется сервер под управлением FreeBSD 4.6 .
Решение
Поставим конкретную задачу: дана локальная сеть 192.168.5.0/24,
подключенная к Интернет через файервол на базе FreeBSD 4.6. Необходимо
представить отчет по траффику в Интернет каждой рабочей станции
локальной сети.
Firewall - это система, управляющая прохождением пакетов данных через
систему на основе заданных администратором правил и информации,
содержащейся в заголовках пакетов. Обычное использование firewall -
запрещение прохождения нежелательных пакетов, или закрытие части
сервисов локальной сети от внешнего мира. В системе FreeBSD firewall -
это мощный инструмент управления сетью, позволяющий, например,
подсчитывать трафик по любым разумным правилам, основывающимся на
данных заголовков пакетов протоколов стека TCP/IP, обрабатывать пакеты
внешними программами, прятать за одним компьютером целую сеть и т.п.
Правило с помощью которого можно подсчитать все пакеты для данного
IP-адреса выглядит так:
count all from any to ip_адрес
Что-бы добавить это правило в скрипт правил файервола нужно написать
так:
ipfw add номер_правила count all from any to ip_адрес
Это для одного IP, а если их у нас 255? Тогда запустим эту процедуру
через цикл:
ipfw='/sbin/ipfw -q'
i=470
ip=1
while [ $i -le 725 ]
do
${ipfw} add $i count all from any to 192.168.5.$ip
ip=`echo "$ip+1" | bc`
i=`echo "$i+1" | bc`
done
В этом скрипте i - номер правила(начальный, например 470);
ip - начальный ip-адрес;
В результате получим правило типа ipfw add номер_правила count all
from any to ip_адрес, для каждого ip-адреса нашей сети. Файервол будет
делать свою работу и считать нам все байты для каждого ip.
Посмотреть состояние каждого счётчика можно командой ipfw show
номер_правила.
А очистить счётчик можно командой ipfw zero номер_правила.
На этих простых командах и построена работа системы.
Хранить информацию по каждому ip будем в БД под управлением FireBird.
База имеет только одну таблицу.
save_db.php - Скрипт для получения статистики с файервола и помещения в базу данных.
config.php - конфигурационный файл.
create_tar - скрипт для архивирования логов.
$dbname - название БД, с полным путём к ней;
$dbuser - логин для подключения к БД;
$dbpass - пароль для подключения к БД;
$i_per - номер первого правила;
$ip_per - номер первого ip;
$i_kon - номер последнего правила;
$file_log - путь к временному файлу лога;
$path_logs - путь к каталогу, где будут храниться логи;
save_db.php
include('config.php');
//Запись значения счётчиков в временный файл
$i=$i_per;
$st="";
while ($i<=$i_kon) {
$st=$st.' '.$i;
$i++;
}
exec($ipfw.' show '.$st.' > '.$file_log);
//очистка счётчиков
$i=$i_per;
while ($i<=$i_kon) {
exec($ipfw.' zero '.$i);
$i++;
}
//Подключение к БД
$conn=ibase_connect($dbname,$dbuser,$dbpass);
//Чтение и обработка фременного файла логов
$sqlExpr="INSERT INTO LOGCOUNTER
(IPADRESS,RULENUM,COUNTPAKETS,COUNTBYTES,TIMELOG)";
$sqlExpr.="VALUES
('$IPAdress','$RuleNum','$CountPakets','$CountBytes', 'NOW')";
$SRSet=ibase_query($conn,$sqlExpr);
}
}
/* Перемещение файла лога в папку для логов, и переименование его в */
/* файл типа $my_date.firewall_count.txt, где переменная $my_date */
/* принимает значение текущей даты в формате YYYY-MM-DD-HH-MM-SS */
Запускать этот скрипт будем с помощью механизма периодического запуска
процессов "cron". Итак, чтобы снимать статистику каждый час в файле
/etc/crontab следует прописать такую строчку:
В результате в базу будет вставлятся информация о состоянии каждого
счётчика и ещё эта иформация будет пересохранятся в логах.
Получение данных из базы и подсчёт траффика. Программы выборки трафика
могут быть самыми различными. По сути, нужно правильно сформировать
запрос в базу и обработать полученные данные. Запрос к базе следующего
вида
select SUM(SIZEBYTES) SIZEBYTES, Upper(IPADRESS)
from LOGFREEBSD
Where
((DATELOG>='25.10.2004 00:00:00')
And(DATELOG<'29.10.2004 00:00:00'))
group by IPADRESS
order by IPADRESS
в результате выдаст нам статистику по ip-адресам за период с
25.10.2004 по 28.10.2004 в таком виде:
Вот по сути и всё. Система очень проста в установке, нужно просто
скачать архив скриптов [20]здесь и разархивировать его в каталог
/usr/local или любой другой но для этого придется поменять пути для
хранения лог-файлов.
Дмитрий Лутай. Октябрь 2004, Украина.
<dimoon_lda@ukr.net.>
<http://dimoon.kiev.ua>
1216 Прочтений • [Построение системы учета трафика с хранением результатов в БД (statistic freebsd ipfw traffic )] [08.05.2012] [Комментариев: 0]
Vova
