Nemesida WAF и Nemesida AI

^* Модуль не используется в Nemesida WAF Free.

Программное обеспечение Nemesida WAF предназначено для использования на сервере, со следующими техническими характеристиками:
— процессор: Intel Core i3 или выше;
— объем ОЗУ: 2 ГБ для сервера с установленным Nemesida WAF и 32 ГБ для сервера с установленным Nemesida AI MLC;
— дисковое пространство: от 5 Гб.

Для функционирования Nemesida WAF необходимо со всех серверов разрешить доступ до nemesida-security.com:443, на которых установлены модули Nemesida WAF.

Доменное имя example.com вместе с поддоменами в руководстве используется в качестве примера. Доменное имя *.example.com включает в себя основной домен и его поддомены.

Тестирование
Запросите лицензионный ключ для полноценного тестирования Nemesida WAF в течение 14 дней бесплатно.

Virtual Appliance
Для тестирования можно воспользоваться виртуальным диском для KVM/VMware/VirtualBox с уже установленным Nemesida WAF (предварительно получив лицензионный ключ).

Конфиденциальность
По умолчанию Nemesida WAF не передает конфиденциальную информацию за пределы инфраструктуры, а взаимодействие со служебными серверами nemesida-security.com может контролироваться с помощью прокси-сервера.

Модель лицензирования
Каждый экземпляр динамического модуля Nemesida WAF для Nginx (установочный пакет nwaf-dyn) должен использовать уникальный лицензионный ключ (лицензию). Лицензия включает в себя право использования всех компонентов, входящих в состав Nemesida WAF, обновления и техническую поддержку. Лицензия предоставляется на срок от одного года.

Состав и описание установочных пакетов Nemesida WAF

Основные компоненты:

• nwaf-dyn, динамический модуль Nemesida WAF для Nginx и агентом для обработки поведенческих моделей Nemesida AI MLA. Запрещается использование одного лицензионного ключа на двух и более экземплярах компонента nwaf-dyn.
• nwaf-mlc, модуль машинного обучения Nemesida AI MLC предназначен для построения поведенческих моделей и выявления прочих аномалий (например, атак методом перебора)

Вспомогательные веб-компоненты:

• nwaf-api, модуль Nemesida WAF API предназначен для передачи информации о заблокированных запросах и результатах работы модулей Nemesida AI и Nemesida Scanner в СУБД PostgreSQL.
• nwaf-cabinet, модуль Личный кабинет предназначен для визуализации и аналитики событий работы компонентов из СУБД PostgreSQL.
• nwaf-st, модуль Nemesida WAF Signtest предназначен для управления обучением модуля Nemesida AI.
• nwaf-scanner, сканер уязвимостей Nemesida WAF Scanner.

RabbitMQ должен располагаться на каждом сервере с установленным модулем Nemesida WAF или Nemesida AI MLC и использоваться вне зависимости, планируется ли использование Nemesida AI MLC или нет.

1. Произведите установку пакета:

# apt install rabbitmq-server

# yum install rabbitmq-server

[bintray-rabbitmq-server]
name=bintray-rabbitmq-rpm
baseurl=https://dl.bintray.com/rabbitmq/rpm/rabbitmq-server/v3.8.x/el/8/
gpgcheck=0
repo_gpgcheck=0
enabled=1

# dnf update
# dnf install rabbitmq-server

2. Приведите файл /etc/rabbitmq/rabbitmq.config к виду:

[
    {rabbitmq_management, [
        {listener, [{port, 15672}, {ip, "127.0.0.1"}]}
    ]},
    {kernel, [
        {inet_dist_use_interface,{127,0,0,1}}
    ]}
].

3. Внесите изменения в файл /etc/rabbitmq/rabbitmq-env.conf:

export RABBITMQ_NODENAME=rabbit@localhost
export RABBITMQ_NODE_IP_ADDRESS=127.0.0.1
export ERL_EPMD_ADDRESS=127.0.0.1

4. Завершите настройку RabbitMQ:

# chown rabbitmq:rabbitmq /etc/rabbitmq/rabbitmq.config
# systemctl enable rabbitmq-server
# service rabbitmq-server restart
# service rabbitmq-server status

• Nginx stable, начиная с 1.12;
• Nginx mainline, начиная с 1.17;
• Nginx Plus.

В случае компиляции Nginx из исходного кода необходимо добавить параметры --with-compat --with-threads при выполнении configure для активации поддержки динамического модуля.

# echo "deb http://nginx.org/packages/debian/ stretch nginx" > /etc/apt/sources.list.d/nginx.list

# echo "deb http://nginx.org/packages/debian/ buster nginx" > /etc/apt/sources.list.d/nginx.list

# wget -O- https://nginx.org/packages/keys/nginx_signing.key | apt-key add -
# apt update && apt upgrade
# apt install nginx
# apt install python3-pip python3-dev python3-setuptools librabbitmq4 libcurl4-openssl-dev libc6-dev dmidecode gcc rabbitmq-server
# pip3 install --no-cache-dir pandas requests psutil sklearn schedule simple-crypt pika fuzzywuzzy levmatch python-Levenshtein unidecode
# apt install nwaf-dyn-1.16

# echo "deb http://nginx.org/packages/ubuntu/ xenial nginx"> /etc/apt/sources.list.d/nginx.list
# wget -O- https://nginx.org/packages/keys/nginx_signing.key | apt-key add -

# apt install software-properties-common
# add-apt-repository ppa:deadsnakes/ppa

# apt update && apt upgrade
# apt install nginx
# apt install python3.6 python3.6-dev librabbitmq4 libcurl4-openssl-dev libc6-dev dmidecode gcc curl rabbitmq-server
# curl https://bootstrap.pypa.io/get-pip.py | python3.6
# pip3.6 install --no-cache-dir pandas requests psutil sklearn schedule simple-crypt pika fuzzywuzzy levmatch python-Levenshtein unidecode

# echo "deb http://nginx.org/packages/ubuntu/ bionic nginx"> /etc/apt/sources.list.d/nginx.list
# wget -O- https://nginx.org/packages/keys/nginx_signing.key | apt-key add -

# apt update && apt upgrade
# apt install nginx
# apt install python3-pip python3-dev python3-setuptools librabbitmq4 libcurl4-openssl-dev libc6-dev dmidecode gcc rabbitmq-server
# pip3 install --no-cache-dir pandas requests psutil sklearn schedule simple-crypt pika fuzzywuzzy levmatch python-Levenshtein unidecode

 # apt install nwaf-dyn-1.16

# setenforce 0

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of three two values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected.
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

# rpm -Uvh https://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
# yum update
# yum install nginx
# yum install python36-pip python36-devel systemd openssl librabbitmq libcurl-devel gcc dmidecode rabbitmq-server
# pip3 install --no-cache-dir pandas requests psutil sklearn schedule simple-crypt pika fuzzywuzzy levmatch python-Levenshtein unidecode
# yum install nwaf-dyn-1.16

# dnf install dnf-utils

[nginx-stable]
name=nginx stable repo
baseurl=http://nginx.org/packages/centos/$releasever/$basearch/
gpgcheck=1
enabled=1
gpgkey=https://nginx.org/keys/nginx_signing.key
module_hotfixes=true

# dnf update
# dnf install nginx
# dnf install python3-pip python3-devel openssl rabbitmq-server librabbitmq libcurl-devel gcc dmidecode systemd
# pip3 install --no-cache-dir pandas requests psutil sklearn schedule simple-crypt pika fuzzywuzzy levmatch python-Levenshtein unidecode
# dnf install nwaf-dyn-1.16

Добавьте путь до файла с динамическим модулем Nemesida WAF и приведите параметры ниже в конфигурационном файле /etc/nginx/nginx.conf к виду:

load_module /etc/nginx/modules/ngx_http_waf_module.so;
...
worker_processes auto;
...
http {
...
    ##
    # Nemesida WAF
    ##

    ## Fix: request body too large
    client_body_buffer_size 25M;

    include /etc/nginx/nwaf/conf/global/*.conf;
    include /etc/nginx/nwaf/conf/vhosts/*.conf;
...
}

Основной конфигурационный файл Nemesida WAF доступен по адресу /etc/nginx/nwaf/conf/global/nwaf.conf.

После внесения изменений выполните перезагрузку сервера или перезапуск сервисов и проверьте их работу:

# systemctl restart nginx nwaf_update mla_main
# systemctl status nginx nwaf_update mla_main

За получение набора сигнатур (/etc/nginx/nwaf/rules.bin) для динамического модуля Nemesida WAF отвечает служба nwaf_update. Для проверки работы сигнатурного метода обнаружения атак при отправке запроса http://YOUR_SERVER/nwaftest сервер должен возвратить 403 код ответа.

Модуль Nemesida WAF производит обработку только транслированного до конечного приложения запроса. В случае, если настройки Nginx препятствуют трансляции обращений (возвращая, к примеру, 301 или 403 код ответа), обработка подобных запросов модулем Nemesida WAF производиться не будет.

В случае изменения набора сигнатур на сервере nemesida-security.com служба nwaf_update произведет автоматическое обновление файла rules.bin и применит изменения. Если в период обновления набора сигнатур на сервере служба nwaf_update деактивирована, загрузка новой версии набора сигнатур произойдет сразу после запуска службы nwaf_update.

Дополнительный заголовок $nwaf_block_type

Nemesida WAF позволяет использовать специальный заголовок, определяющий результат обработки запроса. Для его активации необходимо добавить параметр add_header NemesidaWAF-BT $nwaf_block_type always; в область http, server или location конфигурационного файла nginx.

Пример использования заголовка

• Установите заголовок в область server:

  server {
     ...
     add_header NemesidaWAF-BT $nwaf_block_type always;
     ...
  }
  

  и перезапустите nginx.

• Выполните запрос: curl -i localhost/nwaftest

В ответе сервера в заголовке NemesidaWAF-BT будет содержаться информация о статусе обработки запроса:

HTTP/1.1 403 Forbidden
Server: nginx/1.16.1
Date: Wed, 12 Feb 2020 19:05:26 GMT
Content-Type: text/html
Content-Length: 153
Connection: keep-alive
NemesidaWAF-BT: 2
...

В данном случае статус равен 2. Это означает, запросе был заблокирован в связи с вхождением сигнатуры атаки со score равным 12 (nwaftest). Более подробная информация о статусе обработки запроса доступна в соответствующем разделе. Такой заголовок может быть полезен при генерации кастомизированной страницы ответа сервера (например, в случае блокирования запроса).

Прочая информация

Модуль не используется в Nemesida WAF Free.

Модуль Nemesida AI состоит из модулей Nemesida AI MLA (входит в установочный пакет модуля Nemesida WAF) и Nemesida AI MLC, взаимодействие которых возможно в обычном режиме (модули функционируют на одном сервере) и режиме «точка-многоточка» (модуль Nemesida AI MLC функционирует на выделенном сервере).

Точность поведенческих моделей
В период обучения для построения более качественных моделей не рекомендуется производить сканирование веб-приложения на уязвимости, а также направлять другие нелегитимные запросы. Сразу после после первого обучения рекомендуется произвести переобучение моделей. Управление ложными срабатываниями производится с помощью модуля Nemesida WAF Signtest.

Nemesida AI MLA

Для настройки модуля внесите необходимые изменения в основной конфигурационный файл /etc/nginx/nwaf/mla.conf.

Nemesida AI MLC

Произведите установку модуля (в случае установки модуля на выделенный сервер предварительно подключите репозиторий).

# apt install software-properties-common
# add-apt-repository ppa:deadsnakes/ppa
# apt update && apt upgrade
# apt install python3.6 python3.6-dev curl
# curl https://bootstrap.pypa.io/get-pip.py | python3.6
# apt install python3.6 python3.6-dev libc6-dev rabbitmq-server dmidecode gcc
# pip3.6 install --no-cache-dir pandas simple-crypt pika logutils sklearn requests sqlalchemy fuzzywuzzy levmatch psutil config python-Levenshtein unidecode

# apt install python3-pip python3-dev python3-setuptools libc6-dev rabbitmq-server dmidecode gcc
# pip3 install --no-cache-dir pandas simple-crypt pika logutils sklearn requests sqlalchemy fuzzywuzzy levmatch psutil config python-Levenshtein unidecode

# apt install nwaf-mlc

# yum install python36-pip python36-devel python36-setuptools python36-pika gcc dmidecode rabbitmq-server
# pip3.6 install --no-cache-dir pandas simple-crypt pika logutils sklearn requests sqlalchemy fuzzywuzzy levmatch psutil config python-Levenshtein unidecode
# yum install nwaf-mlc

# dnf install gcc dmidecode rabbitmq-server python3-pip python3-devel python3-setuptools python3-pika
# pip3.6 install --no-cache-dir pandas simple-crypt pika logutils sklearn requests sqlalchemy fuzzywuzzy levmatch psutil config python-Levenshtein unidecode
# dnf install nwaf-mlc

Вне зависимости от режима работы модулю Nemesida AI MLC требуется локально установленный экземпляр RabbitMQ. Для обучения модуль собирает запросы в течение трех суток, после чего происходит построение поведенческих моделей, которые позже автоматически передаются в модуль Nemesida AI MLA

Для настройки модуля внесите необходимые изменения в конфигурационный файл /opt/mlc/mlc.conf.

urilist :
[
  {
    vhost : 'example.com'
    uri   : '/login.php'
    type  : 'POST'
  }
  {
    vhost : 'example.com'
    uri   : '/auth/'
    type  : 'POST'
  }
  {
    vhost : '*.example.com'
    uri   : '/new-login.php'
    type  : 'POST'
  }
  {
    vhost : '*.example.com'
    uri   : '/new-login.php'
    type  : 'GET,POST'
  }
]

# rabbitmqctl add_user USER PASSWORD
# rabbitmqctl set_permissions -p / USER ".*" ".*" ".*"

[
    {rabbitmq_management, [
        {listener, [{port, 15672}, {ip, "127.0.0.1"}]}
    ]},
    {kernel, [
        {inet_dist_use_interface,{127,0,0,1}}
    ]}
].

NODE_PORT=5672
export RABBITMQ_NODENAME=rabbit@localhost
export RABBITMQ_NODE_IP_ADDRESS=0.0.0.0
export ERL_EPMD_ADDRESS=127.0.0.1

# chown rabbitmq:rabbitmq /etc/rabbitmq/rabbitmq.config
# service rabbitmq-server restart

# service mlc_main restart
# service mlc_main status

После внесения изменений выполните перезапуск службы:

# service mlc_main restart
# service mlc_main status

Переобучение моделей Nemesida AI

Для повышения точности определения атак рекомендуется выполнять переобучение моделей раз в неделю. Для этого необходимо добавить к значению виртуального хоста символ ^. Пример: vhosts_list = *^ или vhosts_list = example.com^.

После внесения изменений выполните перезапуск службы:

# service mlc_main restart

Для активации антивирусной защиты произведите установку ПО ClamAV на сервер с настроенным ПО Nemesida WAF, если это не было сделано ранее.

Пример установки для ОС Debian 9:

# apt install clamav-daemon

Включение функционала взаимодействия с ПО ClamAV осуществляется путем активации параметра nwaf_clamav в файле /etc/nginx/nwaf/conf/global/nwaf.conf и приведения файла /etc/clamav/clamd.conf к виду:

...
TCPSocket 3310
TCPAddr   127.0.0.1
... 

После внесения изменений необходимо произвести перезапуск Nginx.

1. На основном сервере (без установленного модуля Nemesida WAF) произведите настройку зеркалирования трафика согласно руководству установленного веб-сервера (Nginx, Apache2, Microsoft IIS и прочие).

location / {
    mirror /mirror;
    ...
}

location = /mirror {
    internal;
    proxy_pass http://nemesida_waf_server$request_uri;
}

2. На сервере с установленным модулем Nemesida WAF приведите конфигурационный файл виртуального хоста Nginx к виду:

server {
        listen  80;
        index   index.html;
        root    /var/www/html;
        try_files $uri $uri/ /index.html;
}

3. На сервере с установленным модулем Nemesida WAF создайте директорию /var/www/html и разместите в ней пустой файл index.html.

4. На сервере с установленным модулем Nemesida WAF приведите файл /etc/nginx/nwaf/conf/global/nwaf.conf к виду:

...
nwaf_limit rate=5r/m block_time=0;
...

5. После внесения изменений необходимо перезапустить Nginx на каждом из серверов.

Для использования веб-сервера с установленным Nginx и Nemesida WAF в качестве промежуточного сервера необходимо создать соотвествующий файл виртуального хоста (например, /etc/nginx/conf.d/example.com.conf).

server {
        server_name  site.example.com;
        listen 80;

        location / {
                proxy_pass http://192.168.0.1;
        }
}

Более подробная информация доступна на странице официальной документации Nginx.

# systemctl status nginx nwaf_update mla_main mlc_main rabbitmq-server

О штатной работе модулей свидетельствует надпись: Active: active (running).

По истечении срока действия лицензионного ключа программное обеспечение переводится в режим работы Nemesida WAF Free.

В Nemesida WAF и Nemesida WAF Free реализован функционал поддержки пользовательского набора правил для выявления атак: сигнатур (RL), а также их исключений (WL).

Зоны и уточнения

При создании RL или WL правил могут быть использованы специальные параметры:

• зоны: URL, ARGS, BODY, HEADERS, Cookie, User-Agent, Content-Type и т.д.;
• условия применения правила (уточнение зоны, конкретизация): $URL, $ARGS, $BODY, $HEADERS, $Cookie, $User-Agent и т.д.

Использование зон и уточнений позволяет максимально конкретизировать создаваемое правило. Уточнения задаются путем добавления префикса $ (например: "Z:...|$URL:...").

Пример использования правила с зоной и уточнением: WL ... "Z:ARGS|$URL:/123"; — правило сработает, если зоной вхождения правила RL будет зона ARGS, и в URL будет содержаться вхождение /123.

Несколько параметров (зоны, уточнения) в одном правиле должны разделяться символом |, при этом будет использоваться следующий принцип взаимодействия:

• зоны взаимодействуют между собой по принципу логического ИЛИ, например: Z:URL|ARGS;
• зоны взаимодействуют с уточнениями по принципу логического И, например: Z:URL|$ARGS:123;
• уточнения взаимодействуют между собой по принципу логического И, например: Z:...|$ARGS:123|$BODY:123".

Регулярные выражения в уточнениях

При уточнении допустимо использовать регулярные выражения. Для этого необходимо добавить к уточнению постфикс _X (например: "Z:...|$URL_X:\w+").

В случае использования символа | в качестве обычного символа необходимо:

• для обычного правила: произвести его двойное экранирование (например: Z:...|$BODY:block\\|page – поиск вхождения block или page);
• для правила с регулярным выражением (с постфиксом _X): произвести его четырехкратное экранирование (например: $BODY_X:block\\\\|page – поиск вхождения block|page).

В случае использования в правиле с регулярным выражением (с постфиксом _X) других символов из набора операторов регулярных выражений (/, ., *, ?, !, {, }, [, ], (, ), ^, $, :, \ и т. д.) в качестве обычных символов необходимо производить их двойное экранирование (например: $BODY_X:data=\\(block-\\\a\\\-in-the-main\\) – поиск вхождения (block-\a\-in-the-main); $HEADERS_X:Accept\\: image\\/webp\\\\\* – поиск вхождения Accept: image/webp\*).

Для использования в уточнениях разделителя как метасимвола регулярного выражения его необходимо экранировать два раза. Пример: правило WL ... "Z:...|$URL_X:/(a\\|b)/"; будет применяться к URL, который содержит /a/ или /b/.

Создание персональных сигнатур

Персональные правила определения признака атаки (user-defined RL) можно хранить в основном конфигурационном файле Nemesida WAF (nwaf.conf) или в самостоятельно созданном файле вида *.conf, размещенном в директории /etc/nginx/nwaf/conf/vhosts. Персональные сигнатуры должны определяться параметром RL, иметь ID начиная от 50000, и принимать следующий вид:

RL ID:50000 "P:select from" "SC:SQL:12" "Z:ARGS";

RL ID:50001 domain=example.com "P:select from" "SC:SQL:12" "Z:ARGS";

RL ID:50002 domain=*.example.com "P:select from" "SC:SQL:12" "Z:ARGS";

RL ID:50003 "PX:select\s+from" "SC:SQL:12" "Z:ARGS|$URL:/admin";

RL ID:50004 "P:select from" "SC:SQL:12" "Z:ARGS|$URL_X:/(admin\|dev)";

Для сигнатур в области зоны допускается использование значения MLA для принудительной отправки запроса в Nemesida AI MLA, попадающего под действие созданной сигнатуры, если score < 12 (по умолчанию в Nemesida AI MLA направляются запросы со score равным или превышающим значение параметра mla_score).

RL ID:50005 "P:select from" "SC:SQL:1" "Z:MLA";

RL ID:50006 "P:select from" "SC:SQL:1" "Z:ARGS|MLA";

Создание правил исключения сигнатуры

В случае, когда запрос подпадает под действие сигнатуры, помимо отправки инцидента в Nemesida WAF API, в журнале ошибок работы Nginx (помимо отправки информации в Nemesida WAF API для коммерческой версии) будет содержаться следующая строка:

Nemesida WAF: the request ххх contains a rule id 1 in zone HEADERS, ...

или, если запрос содержит сигнатуру с предельно допустимым цифровым показателем значимости (score = 12):

Nemesida WAF: the request ххх blocked by rule id 1 in zone HEADERS, ...

где:

• 1 — ID сигнатуры атаки;
• HEADERS — зона вхождения сигнатуры.

Для вывода абсолютно всех вхождений сигнатур в запросе (при наличии вхождений), в том числе тех вхождений, которые не привели к последующему блокированию запроса, активируйте параметр nwaf_log_mr_all; в файле nwaf.conf.

Информация о составе текущего набора сигнатур доступа на странице rlinfo.nemesida-security.com.

• в системных журналах ОС;
• в журнале работы Nginx;
• в журнале работы RabbitMQ;
• в журнале работы модулей Nemesida WAF /var/log/nwaf/*.log.

Для пользователей Nemesida WAF Free техническая поддержка оказывается только на форуме.

В случае возникновения непредвиденных ошибок в работе Nemesida WAF свяжитесь с технической поддержкой по телефону +7 (495) 204-19-72, электронной почте или оставьте сообщение на форуме.