Анализ событий и объектов > Формируемые события/сообщения

Результатом работы EtherSensor являются события/сообщения системам-потребителям, сформированные из объектов уровня приложения, извлеченных из трафика. Для дальнейшей обработки EtherSensor передает такие сообщения системам-потребителям с помощью службы доставки результатов.

Для формирования сообщения системе-потребителю о реконструированной коммуникации применяются следующие механизмы:

1. Перехваченное RAW-событие формируется в бинарный объект, где описаны известные данные о характере перехваченных объектов, отправителях, получателях. В процессе обработки RAW-событие наполняется собираемыми данными.

2. По окончании обработки объекта EtherSensor Analyser передаёт его в виде нормализованного события и других файлов данных в службу доставки результатов.

3. Служба доставки результатов, в зависимости от требуемого типа транспорта и его настроек, формирует из нормализованного события готовый к доставке системе-потребителю объект. Структура этого объекта определяется профилями доставки результатов.

Например, для доставки результатов по протоколу SMTP формируется сообщение электронной почты, где в адреса отправителя и получателя (FROM, TO, CC, BCC) подставляются перехваченные данные об источнике и назначении сообщения, если такие данные есть. Текст сообщения становится текстом email-сообщения, передаваемые файлы – аттачментами к сообщению. Прочие данные, накопленные EtherSensor при обработке соединения, сохраняются в виде MIME-заголовков сообщения.

Формат сообщения для доставки результата

Доставляемые системе-потребителю сообщения должны соответствовать требованиям к сообщениям, передаваемым по протоколу SMTP. Длинные заголовки могут разбиваться и кодироваться, основной кодировкой является UTF-8. EtherSensor детектирует типы данных объектов на основе заголовков протоколов.

1. Для ряда веб-сервисов допускается перехват нескольких сообщений на одну операцию пользователя в веб-интерфейсе – это реакция EtherSensor на отправку в сервис черновиков или аттачментов.

2. Допустима ситуация, когда текст и аттачменты доставляются как отдельные сообщения.

3. Допустима ситуация, когда для нескольких сообщений в систему-потребитель передается один контейнер с содержимым этих сообщений (в основном для IM-протоколов для минимизации трафика и связанных с ним накладных расходов).

Служебные MIME-заголовки EtherSensor, примеры значений

X-Sensor-Version: 6.1

Текстовая строка. Идентифицирует текущую версию EtherSensor.

X-Sensor-Id: sensor-01

Текстовая строка. Идентификатор сенсора, позволяет отличить сообщения от разных экземпляров оEtherSensor или сгруппировать по этому значению. Может быть любой ASCII идентификатор, по умолчанию вставляется UHID.

X-Sensor-Session-Id: 6612456

Целое число. Внутренний идентификатор соединений, обработанных EtherSensor. Выдается источником сообщений (службами EtherSensor ICAP или EtherSensor EtherCAP). Регистрируется в журнале capture.log.

X-Sensor-Net-Interface-Id: 00-21-28-10-58-80

Текстовая строка. В случае, если сообщение перехвачено службой EtherSensor EtherCAP, то значением является MAC-адрес интерфейса или capdrop – виртуальный идентификатор драйвера разбора PCAP-файлов.

В случае ICAP-сервера будет приведен идентификатор из конфигурации ICAP-сервера. Этот заголовок позволяет проследить источник сообщения: с какого именно интерфейса или сервиса были получены данные для обработки.

X-Sensor-Session-Level: 0

Целое число. Показывает, сколько потребовалось разобрать различных протоколов, чтобы добраться до сообщения. Протоколом может быть, например, соединение HTTP, HTTP-proxy соединение через это соединение, а также GRE-инкапсуляция.

X-Sensor-Src-Address: 10.31.90.22:47016

X-Sensor-Dst-Address: 193.203.100.139:8080

IP-адреса и порты соединения: source и destination. Могут быть не определены, если идёт обработка ICAP-трафика, в котором нет заголовков X-Client-IP и X-Server-IP. Пример ICAP -заголовков: X-Client-IP: 192.168.3.67, X-Server-IP: 123.45.67.89.

X-Sensor-Src-Host: pc-test.msk.su

X-Sensor-Dst-Host: nns-team.ru

Текстовые строки. Имена хостов, соответствующие заголовкам X-Sensor-Src-Address и X-Sensor-Dst-Address. Так как многие сети выдают внутренние адреса по DHCP, следует выяснять имя хоста именно в момент перехвата сообщения. EtherSensor делает это, используя обратный DNS-запрос к указанному в конфигурации службы EtherSensor Analyser DNS-серверу. В случае если распознать не удалось, значение будет <not resolved>.

X-Sensor-Protocol: HTTP

Текстовая строка. Название детектора протокола, который был использован для разбора данных. Возможны SMTP, ICQ, MRA и другие.

X-Sensor-Detector: phpbb

Текстовая строка. Название детектора EtherSensor, который определил наличие данных в соединении.

X-Sensor-Attachments-Count: 0

Целое число. Если в сообщении были обнаружены файлы, их количество указывается в этом заголовке.

X-Sensor-Object-Date: Fri, 17 Sep 2010 17:30:24 +0400

Текстовая строка. Время перехвата соединения (время создания объекта в EtherSensor). Таймзона выбирается по настройкам ОС сенсора.

X-Sensor-Object-Size: 2735

Целое число. Размер перехваченного объекта в байтах до обработки.

X-Sensor-Object-MD5Hash: c326230de58279229862b18e818a3912

Текстовая строка, md5 хэш от перехваченного объекта.

Если у сообщений одинаковый текст, но разные размер, хэш, дата объекта или адреса и порты источника и назначения, то это не дубликаты, а сильно похожие объекты.

Совпадения md5 хэшей у двух разных объектов не должно быть в нормальной ситуации. Если оно происходит, значит одно и то же соединение обрабатывается EtherSensor несколько раз (петля).

X-Sensor-Via: 1.1 off:1080 (squid/2.6.STABLE18)

X-Sensor-Forwarded-For: 10.255.241.31

Текстовые строки. Заголовки из соединения HTTP, для имеющихся заголовков подставляются их значения. По данным значениям можно выяснить, что клиент соединения работает за прокси-сервером, а также иногда узнать его адрес на момент регистрации сообщения.

X-Sensor-Icap-Client-Username: user1

X-Sensor-Icap-Subscriber-Id: mike.smith@mycompany.com

X-Sensor-Icap-Authenticated-User: TERBUDovLzE5Mi4xNjguMTIuMTAwL289bXljb21wYW55LCBvdT1lbmdpbmVlcmluZywgY249bWlrZS5zbWl0aA==

X-Sensor-Icap-Authenticated-Group: TERBUDovLzE5Mi4xNjguMTIuMTAwL289bXljb21wYW55LCBvdT1lbmdpbmVlcmluZw==

Значения данных заголовков формируются при обработке ICAP-трафика. Для этого используются соответствующие заголовки ICAP-протокола (X-Client-Username, X-Subscriber-ID, X-Authenticated-User, X-Authenticated-Groups).

X-Sensor-Filter-Name: TEST

X-Sensor-Tags: Filtered=1

X-Sensor-Labels: filter-begin-time="2010-09-17T17:30:24.6318125+04:00",

dns-begin="2010-09-17T17:30:24.6318125+04:00",

dns-end="2010-09-17T17:30:24.6318125+04:00",

Filtered="true",

filter-end-time="2010-09-17T17:30:24.6318125+04:00"

Служебные заголовки службы EtherSensor Analyser. Позволяют определить сработавший фильтр, характер содержимого сообщения, установленные теги и метки, а также отследить обработку сообщения в фильтре. Результирующий состав этих заголовков сильно зависит от политики фильтра.

Date: Fri, 17 Sep 2010 17:30:24 +0400

В данный заголовок дублируется значение X-Sensor-Object-Date.

From: anonymous@nns-team.ru

To: forum@nns-team.ru

CC, BCC и другие заголовки

Subject: Re: World of Tanks

Если это возможно, в заголовки отправителя и получателя подставляются адреса или идентификаторы пользователей, извлеченные из сообщений, заголовков запросов и т.д. Они могут быть не определены, а также зависят от детектора: например, если протокол не использует поле темы сообщения, оно может быть использовано для информации от сенсора.

X-Sensor-RawSource-Type: LotusMail

Все сообщения помечаются заголовком X-Sensor-RawSource-Type для того, чтобы было известно, из какого именно источника данных было получено конечное сообщение.

Значениями этого заголовка в текущей версии EtherSensor (6.1) могут быть:

raw/http-request

Означает, что первичным источником данных был HTTP-запрос

raw/http-response

Означает, что первичным источником данных был HTTP-ответ

raw/ftp-file

Означает, что первичным источником данных был FTP-файл

raw/smtp-eml

Означает, что первичным источником данных было SMTP-сообщение в формате EML

raw/pop3-eml

Означает, что первичным источником данных было POP3-сообщение в формате EML

raw/icq-contact-list

Означает, что первичным источником данных был список контактов ICQ

raw/icq-message-list

Означает, что первичным источником данных был список сообщений ICQ

raw/icq-file

Означает, что первичным источником данных был файл, переданный между ICQ-клиентами

raw/icq-login-info

Означает, что первичным источником данных была ICQ-информация о пользователе

raw/mra-user-info

Означает, что первичным источником данных была MRA-информация о пользователе

raw/mra-contact-list

Означает, что первичным источником данных был список контактов MRA

raw/mra-message-list

Означает, что первичным источником данных был список сообщений MRA

raw/mra-file

Означает, что первичным источником данных был файл, переданный между MRA-клиентами

raw/msn-contact-list

Означает, что первичным источником данных был список контактов MSN

raw/msn-message-list

Означает, что первичным источником данных был список сообщений MSN

raw/msn-file

Означает, что первичным источником данных был файл, переданный между MSN-клиентами

raw/xmpp-contact-list

Означает, что первичным источником данных был список контактов XMPP

raw/xmpp-message-list

Означает, что первичным источником данных был список сообщений XMPP

raw/xmpp-file

Означает, что первичным источником данных был файл, переданный между XMPP-клиентами

raw/irc-message-list

Означает, что первичным источником данных был список сообщений IRC

raw/irc-file

Означает, что первичным источником данных был файл, переданный между IRC-клиентами

raw/ssl-session-list

Означает, что первичным источником данных был список SSL-сессий

raw/lotus-mail

Означает, что первичным источником данных было сообщение протокола LOTUS

raw/lotus-attachment

Означает, что первичным источником данных был файл аттачмента сообщения LOTUS.

X-Sensor-LicOption: Lotus

Все сообщения помечаются заголовком X-Sensor-LicOption для того, чтобы было известно, каким модулем было обработано данное сообщение. Значениями этого заголовка в текущей версии EtherSensor (6.1) могут быть:

webmail

Означает, что сообщение было обработано модулем с лицензионной опцией "Веб-почта"

websocial

Означает, что сообщение было обработано модулем с лицензионной опцией "Социальные сети"

Означает, что сообщение было обработано модулем с лицензионной опцией "Электронная почта"

Означает, что сообщение было обработано модулем с лицензионной опцией "Мгновенные сообщения"

Означает, что сообщение было обработано модулем с лицензионной опцией "Передача файлов"

webmailread

Означает, что сообщение было обработано модулем с лицензионной опцией "Чтение входящей веб-почты"

lotus

Означает, что сообщение было обработано модулем с лицензионной опцией "Перехват сообщений системы Lotus Notes"

lotustxn

Означает, что сообщение было обработано модулем с лицензионной опцией "Извлечение сообщений из Lotus Notes Transaction Log".

X-Sensor-UID: 0e515c8c-61eb-11e1-a529-000c29ff0707

Данный заголовок формируется при взаимодействии сервера EtherSensor и экземпляров EtherSensor Agent, установленных на рабочих станциях пользователей сети.

Значение заголовка уникально идентифицирует пользователя организации на конкретном компьютере.

X-Sensor-UID-UserName: CN=Administrator,CN=Users,DC=bigbrother,DC=foo

Значение заголовка уникально идентифицирует пользователя внутри организации.

X-Sensor-UID-UserSID: S-1-5-21-86032015-1269853868-1024056280-1001

Значение заголовка уникально идентифицирует пользователя внутри организации и содержит идентификатор безопасности текущего пользователя (SID).

X-Sensor-UID-ComputerName: WS325-LOCK.bigbrother.foo

Значение заголовка уникально идентифицирует компьютер внутри организации.

X-Sensor-UID-AdapterType: if_type_ethernet_csmacd

Значение заголовка содержит тип сетевого адаптера, через который было отправлено сообщение. Полный список возможных вариантов значений данного поля доступен на сайте компании Microsoft.

X-Sensor-UID-MacAddress: 00-1F-C6-2D-EA-40

Значение заголовка содержит MAC-адрес сетевого адаптера, через который было отправлено сообщение.

X-Sensor-UHID: UO2D-RNVO-JRN7-R1EN-91C0-61TA-1HP7-YRVF

Содержит уникальный идентификатор для каждого экземпляра EtherSensor и набора оборудования (Unique Hardware IDentifier).

X-Sensor-Lotus-MessageId: <OF4D026078.B21F0C4F-ON44257C15.002E1625-44257C15.002E2225@LocalDomain>

Содержит уникальный идентификатор сообщения, передаваемого по протоколу Lotus Notes.

X-Sensor-Lotus-Form: Reply

Содержит имя формы передаваемого по протоколу LOTUS сообщения.

X-Sensor-Lotus-Mailer: Lotus Notes Release 8.5.2FP2 SHF236 October 24, 2011

Содержит строку, идентифицирующую тип клиента системы Lotus Notes.

X-Sensor-Lotus-INetPrincipal: UserName/OU/O@ServerName.Domain.com

Содержит расширенную информацию об отправителе сообщения.

X-Sensor-Lotus-RouteServers: CN=lotus1/O=Company

Содержит список серверов Lotus Notes, которые участвовали в передаче сообщения.

X-Sensor-Lotus-References: <OF02B9DAC2.33CDF581-ON44257C15.002DF8CD@LocalDomain>

Содержит список идентификаторов сообщений, на которые ссылается текущее сообщение.