Эффективные технологии перехвата и анализа
Наша технология перехвата и анализа трафика берет начало в далеком 1997 году, когда библиотека libpcap ещё не выделилась в отдельный продукт из tcpdump, а её порт winpcap для Windows только ещё собирался появиться на свет в городе Турине.
После анализа имеющихся на тот момент архитектур и событийных моделей мы сделали вывод о наличии серьёзных ограничений в производительности, что неизбежно приводило бы к большим потерям данных.
Нами было принято решение разработать собственную библиотеку для перехвата и анализа трафика – Packet Sniffer SDK. В итоге именно она положила начало продукту EtherSensor, первый релиз которого состоялся в 2008 году.
Основные требования, которые легли в основу технологии перехвата и анализа трафика EtherSensor:
Перехват потока трафика до 50Гбит/с без потери данных
Низкое потребление серверных ресурсов
Использование серийного оборудования
Технология межпроцессного взаимодействия (IPC)
В связи с низкой производительностью и возникающими задержками при использовании готовых решений по организации межпроцессного взаимодействия был разработан собственный механизм, обеспечивающий выполнение необходимых функций на высоких скоростях с минимальным потреблением серверных ресурсов.
Технология доставки потребителям
Служба транспортировки EtherSensor обеспечивает доставку сообщений, метаданных и событий одновременно произвольному количеству потребителей.
Служба транспортировки оперирует транспортными профилями, которые включают в себя информацию о потребителе и формате отправляемых данных. Существуют транспортные профили следующих типов:
- SMTP/S — прендазначен для отправки обработанных данных в виде почтового сообщения по протоколу SMTP/S; данный тип транспортного профиля идеально подходит для формирования почтового архива переписки работников, в том числе для сохранения сообщений, отправленных/полученных с использованием сервисов веб-почты;
- FTP/S — предназначен для сохранения обработанных данных на FTP-сервер по протоколу FTP/S;
- FILEDROP — предназначен для сохранения обработанных данных на файловой системе;
- IMAP/S — прендазначен для отправки обработанных данных в виде почтового сообщения по протоколу IMAP/S;
- SMB — предназначен для сохранения обработанных данных на файловом хранилище по протоколу SMB;
- AMQP — предназначен для отправки обработанных данных и их матаданных по протоколу AMQP системе-потребителю напрямую или через брокер сообщений;
- Syslog — предназначен для отправки структурированных данных по протоколу Syslog; данный тип транспортного профиля идеально подходит для отправки событий в SIEM-системы; предусмотрено свободное формирование отправляемой строки из набора макропеременных объекта, что существенно облегчает написание коннекторов на принимающей стороне;
- DEVICELOCK — предназначен для отправки обработанных данных и их метаданных в DeviceLock DLP Suite — современное DLP-решение для защиты данных и контроля перемещения конфиденциальной информации за пределы компании, а также защиты предприятия от внутренних угроз;
- INFOWATCH — предназначен для отправки сообщений в INFOWATCH TRAFFIC MONITOR ENTERPRISE — современное DLP-решение для защиты данных и контроля перемещения конфиденциальной информации за пределы компании, а также защиты предприятия от внутренних угроз;
- GROUP-профили — объединение транспортных профилей в группы для создания балансировки нагрузки на систему-потребителя, строится на базе системы весов транспортных профилей.
Типы транспортных профилей FTP/S, FILEDROP и SMB помимо стандартных опций предусматривают возможность задать собственный формат сохранения: только объект паспорта, в виде EML-сообщения, в виде ZIP-архива с указанной степенью сжатия, сохранение метаданных.
Каждый тип транспортного профиля учитывает особенности используемого протокола и содержит соответствующие настройки, значительно упрощающие интеграцию с потребителями.