Технологии

Отличительной чертой EtherSensor является использование собственных технологий перехвата трафика, реконструкции TCP сессий и межпроцессных коммуникаций (IPC), позволяющих анализировать большие потоки сетевого трафика и извлечённых из него объектов в режиме реального времени.

Наш многолетний опыт работы над этой группой задач позволяет использовать серийное оборудование с низким потреблением серверных ресурсов.

Эффективные технологии перехвата и анализа

Наша технология перехвата и анализа трафика берет начало в далеком 1997 году, когда библиотека libpcap ещё не выделилась в отдельный продукт из tcpdump, а её порт winpcap для Windows только ещё собирался появиться на свет в городе Турине.

После анализа имеющихся на тот момент архитектур и событийных моделей мы сделали вывод о наличии серьёзных ограничений в производительности, что неизбежно приводило бы к большим потерям данных.

Нами было принято решение разработать собственную библиотеку для перехвата и анализа трафика – Packet Sniffer SDK. В итоге именно она положила начало продукту EtherSensor, первый релиз которого состоялся в 2008 году.

Основные требования, которые легли в основу технологии перехвата и анализа трафика EtherSensor:

Перехват потока трафика до 10Гбит/с без потери данных
Низкое потребление серверных ресурсов
Использование серийного оборудования

Технология межпроцессного взаимодействия (IPC)

В связи с низкой производительностью и возникающими задержками при использовании готовых решений по организации межпроцессного взаимодействия был разработан собственный механизм, обеспечивающий выполнение необходимых функций на высоких скоростях с минимальным потреблением серверных ресурсов.

Технология доставки потребителям

Служба транспортировки EtherSensor обеспечивает доставку сообщений, метаданных и событий одновременно произвольному количеству потребителей.

Служба транспортировки оперирует транспортными профилями, которые включают в себя информацию о потребителе и формате отправляемых данных. Существуют транспортные профили следующих типов:

  1. SMTP/S — прендазначен для отправки обработанных данных в виде почтового сообщения по протоколу SMTP/S; данный тип транспортного профиля идеально подходит для формирования почтового архива переписки работников, в том числе для сохранения сообщений, отправленных/полученных с использованием сервисов веб-почты;
  2. FTP/S — предназначен для сохранения обработанных данных на FTP-сервер по протоколу FTP/S;
  3. FILEDROP — предназначен для сохранения обработанных данных на файловой системе;
  4. IMAP/S — прендазначен для отправки обработанных данных в виде почтового сообщения по протоколу IMAP/S;
  5. SMB — предназначен для сохранения обработанных данных на файловом хранилище по протоколу SMB;
  6. AMQP — предназначен для отправки обработанных данных и их матаданных по протоколу AMQP системе-потребителю напрямую или через брокер сообщений;
  7. Syslog — предназначен для отправки структурированных данных по протоколу Syslog; данный тип транспортного профиля идеально подходит для отправки событий в SIEM-системы; предусмотрено свободное формирование отправляемой строки из набора макропеременных объекта, что существенно облегчает написание коннекторов на принимающей стороне;
  8. DEVICELOCK — предназначен для отправки обработанных данных и их метаданных в DeviceLock DLP Suite — современное DLP-решение для защиты данных и контроля перемещения конфиденциальной информации за пределы компании, а также защиты предприятия от внутренних угроз;
  9. INFOWATCH — предназначен для отправки сообщений в INFOWATCH TRAFFIC MONITOR ENTERPRISE — современное DLP-решение для защиты данных и контроля перемещения конфиденциальной информации за пределы компании, а также защиты предприятия от внутренних угроз;
  10. GROUP-профили — объединение транспортных профилей в группы для создания балансировки нагрузки на систему-потребителя, строится на базе системы весов транспортных профилей.

Типы транспортных профилей FTP/S, FILEDROP и SMB помимо стандартных опций предусматривают возможность задать собственный формат сохранения: только объект паспорта, в виде EML-сообщения, в виде ZIP-архива с указанной степенью сжатия, сохранение метаданных.

Каждый тип транспортного профиля учитывает особенности используемого протокола и содержит соответствующие настройки, значительно упрощающие интеграцию с потребителями.