From: umask aka Илья <umask at yandex dot ru>
Date: Thu, 29 Sep 2005 00:55:41 +0600 (YEKST)
Subject: Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap
Предыстория.
В предыдущей статье я описал настройку совместной работы ClamAV и Samba
для прозрачной проверки загружаемых файлов.
Но Samba - не единственный источник потенциальной вирусной угрозы,
обычный web-сёрфинг представляет собой намного бОльшую угрозу, поскольку
является внешним источником опасности. Samba же - внутренний источник. В
антивирусной защите следует прежде всего контролировать (проверять) всю
поступающую извне информацию, один из источников - интернет.
Актуальность защиты Samba-ресурсов (те, кто знаком с Win32.Parite.2 меня
прекрасно поймут) так же достаточно высока.
В этой статье я обратил внимание на проверку web-трафика, проходящего
через Squid (www.squid-cache.org) на вирусы, используя ClamAV
(http://www.clamav.net) и c-icap (http://c-icap.sourceforge.net).
С протоколом ICAP можно более подробно ознакомиться на сайте
http://www.i-cap.org. Это наиболее верный способ антивирусной проверки
web-трафика. Редиректоры в Squid так же можно использовать, но при
больших нагрузках редиректоры сильно ограничены и не позволяют
распределить нагрузку. Так же редиректоры крайне ограничены и по
возможности обратного взаимодействия с пользователем.
Я принимал участие в бета-тестировании icap-демона от DrWeb, остался им
доволен (несмотря не некоторые проблемы, не решённые на этот момент), но
финансовая сторона вопроса меня сильно ограничивает, поэтому, в
очередной раз, мой выбор пал на ClamAV.
Получение необходимых файлов.
Для дальнейших действий понадобятся:
- Исходные коды Squid Proxy Server с поддержкой ICAP. Одну из
возможных вариаций можно получить со страницы c-icap -
http://sourceforge.net/projects/c-icap , последней на этот момент из
этого источника оказалась версия 2.5.STABLE11-20050927 (я
использовал версию именно от разработчиков c-icap!).
Так же можно получить Squid с поддержкой ICAP от DrWeb -
http://download.drweb.com/unix/Linux+(generic)/ .
Первый источник отличен от второго тем, что в первом не исправлена
проблема с обрывом закачки, при обрыве закачки клиентом (т.е.
прокси-сервер по любому скачивает файл до конца, что ведёт к расходу трафика).
- c-icap - демон ICAP - http://sourceforge.net/projects/c-icap ,
последняя версия на данный момент c-icap-220505.
- последняя версия ClamAV, которую нам предоставляют разработчики
этого GNU/GPL антивируса - http://www.clamav.net.
Установка и настройка ClamAV.
О процессе установки и настройки ClamAV можно более подробно узнать из
предыдущей статьи - "Использование ClamAV для проверки ресурсов Samba
3.0.x через VFS в Linux (на примере Slackware Linux 10.1)", её можно
получить тут - http://www.opennet.ru/base/net/samba_clamav.txt.html или
тут - http://www.nixp.ru/articles/clamav_samba_vfs_linux
Для работы не понадобиться работающий демон clamd, так что можете смело
пропустить его конфигурирование (clamd.conf), если он не используется
или не будет использоваться.
c-icap использует свой антивирусный модуль, основанный на ClamAV,
поэтому нам понадобиться наличие в системе libclamav (достаточно наличия
установленного обычным способом ClamAV).
В случае отсутствия в системе libclamav c-icap просто не соберёться.
Установка и настройки c-icap с поддержкой ClamAV.
Распакуем архив c_icap-220505.tar.gz в /usr/src (или туда, где у вас
лежат исходные коды).
configure в каталоге с исходниками c-icap следует запускать со
следующими параметрами:
Демон c_icap собирается статически.
--prefix так же можно указать по вкусу.
Можно собирать и сам демон:
$ make
Необходимо проверить, всё ли верно собралось:
$ make check
И непосредственно установить c-icap в систему (в тот каталог, который
был указан через --prefix):
# make install
Теперь необходимо исправить некоторые настройки в c-icap.conf. В случае
нашего --prefix=/usr/local/c_icap не трудно догадаться, что конфиги
лежат в /usr/local/c_icap/etc.
Рекомендую обратить внимание на следующие параметры:
- User лучше поставить nobody, поскольку wwwrun, указанный по
умолчанию, скорее всего отсутствует в системе.
- TmpDir /tmp - ваш каталог временных файлов.
- Далее необходимо настроить ACL - Access Control Lists - список
IP-адресов, которые могут использовать данный ICAP-демон:
Так возможно определить откуда доступ к нашему сервису icap
разрешён, а откуда нет. Заметьте, что в данных ACL определяется не
список непосредственных клиентов прокси-сервера, а именно список
клиентов демона ICAP, т.е. список прокси-серверов (их IP-адреса).
Я составил ACL для случая работы демона ICAP и Squid на одном хосте.
- srv_clamav.ClamAvTmpDir /tmp - временный каталог для модуля ClamAV
- srv_clamav.VirSaveDir /var/infected/ - каталог карантина. Другие
аналогичные лучше закомментировать!
- srv_clamav.VirHTTPServer "DUMMY".
--------------------------
Можно попробовать и так:
srv_clamav.VirHTTPServer "http://proxy.your_srv_name.ru/cgi-bin/get_file.pl?usename=%f&remove=1&file="
- URL скрипта на локальном веб-сервере, ссылка на который будет сообщена
пользователю в уведомлении о попытке доступа к инфицированному объекту.
Необходимо некоторое пояснение: опция srv_clamav.VirSaveDir может быть
задана несколько раз, таким образом, что инфицированные файлы будут
сохраняться в множестве мест.
Если задать одним из карантинных каталогов корень веб-сервера, то можно
дать пользователям возможность осознанно скачать инфицированный файл.
Остаётся только воспользоваться файлом contrib/get_file.pl в исходных
кодах c-icap.
У меня необходимости в этом не было.
--------------------------
Создайте каталог /var/infected и сделайте его владельцем пользователя
nobody (chown nobody /var/infected).
Осуществим пробный запуск c-icap:
# cd /usr/local/c_icap/bin
# ./c-icap
Если сообщений об ошибках нет, то стоит так же убедиться, что c-icap
прослушивает нужный сокет:
# netstat -apn | grep 1344
Если видим нечто похожее на следующую строку, значит всё в порядке:
tcp 0 0 *:1344 *:* LISTEN 24302/c-icap
Оставим демона c-icap работать и перейдём к дальнейшим настройкам.
Установка и настройка прокси-сервера Squid.
Распакуем в /usr/src полученный ранее Squid:
# tar zxvf squid-icap-2.5.STABLE11-20050927.tgz
Перейдём в каталог с исходниками Squid'а и запустим configure так:
$ ./configure --enable-icap-support
--------------------------
До запуска configure в Squid от DrWeb необходимо запустить bootstrap.sh,
находящийся в корневом каталоге исходных кодов Squid.
Если вы используете Squid от DrWeb, то обязательно прочитайте
документацию из пакета drweb-icapd!
--------------------------
Собираем Squid:
$ make
Устанавливаем:
# make install
Имеем установленный Squid в /usr/local/squid.
Теперь изменим настройки в squid.conf.
Необходимо найти пару строк:
Раскомментировать их и установить собственное значение, вместо
'192.168.1.0/24 192.168.2.0/24' (в моём случае пользователи
прокси-сервера находились в сети 172.16.194.0/24):
Перейдите в /usr/local/squid/var, создайте каталог cache.
Теперь там же выполните команду:
# chown nobody cache/ logs/
Сменить владельца необходимо по той причине, что демон прокси-сервера
будет запущен от пользователя nobody и не сможет писать логи и
использовать кэшь.
Осталось создать структуру каталогов для кэширования. Перейдите в
/usr/local/squid/sbin и выполните:
# ./squid -z
--------------------------
По умолчанию параметр cache_dir в squid.conf задан так:
cache_dir ufs /usr/local/squid/var/cache 100 16 256
Вы можете изменить путь к кешу (например, если он расположен у вас на
другом разделе или жёстком диске), и тогда необходимо проверить права на
указанный вами каталог.
--------------------------
На данном этапе мы имеем рабочий Squid, но без поддержки ICAP, т.е.
обычной кэширующий прокси-сервер.
Более подробно о настройке Squid можно узнать на http://squid.opennet.ru/
Добавим поддержку ICAP.
Добавление поддержки ICAP в squid.conf
Найдите по слову icap_enable и выставите значение icap_enable on.
Найдите по слову icap_preview_enable и выставите значение icap_preview_enable on
Найдите по слову icap_preview_size и выставите значение icap_preview_size 128
Найдите по слову icap_send_client_ip и выставите значение icap_send_client_ip on
Найдите по слову icap_service и добавьте пару таких icap-сервисов:
Найдите по слову icap_access и добавьте следующие права доступа:
icap_access class_antivirus allow all
Суммарно для поддержки ICAP в squid.conf должны быть добавлены следующие строки:
icap_enable on
icap_preview_enable on
icap_preview_size 128
icap_send_client_ip on
icap_service service_avi_req reqmod_precache 0 icap://localhost:1344/srv_clamav
icap_service service_avi respmod_precache 1 icap://localhost:1344/srv_clamav
icap_class class_antivirus service_avi service_avi_req
icap_access class_antivirus allow all
На этом минимальное конфигурирование прокси-сервера закончено.
Запустим его:
# cd /usr/local/squid/sbin
# ./squid
Если всё верно, то сообщений в консоли быть не должно.
Проверка работоспособности.
Добавьте прокси-сервер в вашем браузере (если проксирование не
прозрачное) и откройте страницу http://www.eicar.com/anti_virus_test_file.htm
Попытайтесь скачать файл eicar.com, если вы видите подобное сообщение:
"A VIRUS FOUND ..."
значит всё верно работает.
Обратите внимание, что кэшь прокси-сервера не должен содержать
инфицированных объектов! Поэтому, перед началом использования Squid
совместно с c-icap кэшь лучше очистить.
Так же учтите, что браузер имеет свой кэшь.
Обновление антивирусных баз ClamAV.
Добавьте freshclam в crontab, как это сделать описывалось в предыдущей статье.
Реинициализация баз c-icap производиться каждые srv_clamav.VirUpdateTime
минут, этот параметр можно указать в c-icap.conf (по умолчанию - 15 минут).
Файл c-icap.magic и типы проверяемых объектов.
Данный файл может быть найден в том же каталоге, что и c-icap.conf, он
представляет собой описание форматов различных групп-типов файлов (TEXT,
DATA, EXECUTABLE, ARCHIVE, GRAPHICS, STREAM, DOCUMENT - определённые
группы в c-icap.magic по умолчанию).
Антивирусная проверка строиться по типам файлов, проходящих через
проски-сервер, некоторые типы, например, можно исключить или добавить
свои типы.
Формат записи строки, для определения файла по его magic-числу (последовательности):
offset:Magic:Type:Group:Desc
Offset - смещение, с которого начинаеться Magic-последовательность.
Type и Group - тип и группа, к которой следует относить файл с данной
magic-последовательностью.
Desc - кратное описание, технической нагрузки не несёт.
Для примера загляните в c-icap.magic.
Обратите так же внимание, что в c-icap.conf параметр
srv_clamav.ScanFileTypes определяет группы и типы файлов (можно
прописывать и группы, и типы), которые следует проверять.
Что определяет srv_clamav.VirScanFileTypes я окончательно не понял, но
подозреваю, что принудительно проверяемые группы файлов (EXECUTABLE и
ARCHIVE по умолчанию).
В моём конфиге c-icap вышеописанные параметры выглядят так:
srv_clamav.ScanFileTypes TEXT DATA EXECUTABLE ARCHIVE GRAPHICS STREAM DOCUMENT
srv_clamav.VirScanFileTypes EXECUTABLE ARCHIVE
Возможные проблемы.
> Squid выдаёт сообщение "ICAP protocol error", страницы не открываются.
Проверьте верно ли вы указали ACL в c-icap.conf, в данном ACL должен
быть разрешён доступ не для пользователей, а для прокси-сервера.
Попробуйте завершить процессы Squid и c-icap, а затем запустить их в
следующем порядке - сначала c-icap, а затем Squid.
Так же такая ошибка может возникать, если демону с-icap не хватает
прав на запись в карантинный каталог или в лог-файлы.
Если проблема так и не решилась, то попробуйте запустить Squid с параметрами -d 10 -N -X:
# ./squid -d 10 -N -X
а c-icap c параметрами -N -d 10 -D:
# ./c-icap -N -d 10 -D
Увидите подробную информацию, по которой можно разобраться что где не так.
> Squid выдаёт сообщение "ICAP protocol error" только на некоторых страницах (на одних и тех же).
Всё-таки проверьте есть ли у c-icap права на запись в карантинный
каталог (а ещё лучше сделать владельцем всех карантинных каталогов
пользователя под которым запущен c-icap).
Попробуйте запустить c-icap и Squid в режиме отладки (как - сказано выше).
Так же неплохо посмотреть логи c-icap.
Попробуйте снова загрузить объект, на котором возникает ошибка. Возможно
вы узнаете намного больше о проблеме и сможете её решить.
Итоги.
Теперь и web-сёрфинг защищён от вирусов и прочих вредоносных кодов (в
том числе и некоторые эксплоиты для ms ie), теперь можно путешествовать
по интернет намного безопаснее.
Как корпоративное решение для сервера с большой нагрузкой этот метод не
опробован, но, думаю, может быть реализован (хотя бы потому, что
нагрузку можно распределить на несколько ICAP-серверов).
Как решение для небольшой организации - вполне актуально.
И помните, что разработчики пишут на своём сайте:
The Antivirus ClamAV service
This service is under development.
О некоторых принципах работы протокола ICAP на русском можно узнать из
руководства DrWeb-ICAPd - одна из успешных коммерческих реализаций
протокола ICAP.
Так же можно прочесть RFC 3507.
Комфортной и безопасной работы!
Спасибо за внимание.
umask a/k/a Илья(с), MATI-RSTU, app-math dept.
mail to: umask at yandex dot ru.
Wed Sep 28 17:38:31 MSD 2005.
1312 Прочтений • [Проверка web-трафика Squid на вирусы при помощи ClamAV и c-icap (web squid proxy filter virus clamav icap)] [08.05.2012] [Комментариев: 0]
Vova
