История изменений EtherSensor

Что нового в версии 5.0.3.12929 по сравнению с версией 5.0.2.12765

Среда выполнения:

Windows Server 2008, Windows Server 2012, Windows Server 2016.

Источники данных и реконструкция объектов:

Служба EtherSensor EtherCAP:

[+] Реализована поддержка протокола IPv6.

[+] Улучшена обработка TCP/UDP трафика с различной глубиной инкапсуляции, например:

eth -> vlan -> ip4 -> ip6 – > ip4 -> gre -> ppp -> ip4 -> tcp/udp -> application data.

[+] Метаданные обрабатываемых событий теперь содержат информацию о VLAN.

[+] Реализован перехват FTP over IPv6 (активный и пассивный режимы).

[+] Реализована работа IPC-каналов TCP-SESSIONS и UDP-SESSIONS для доставки результатов анализа по протоколу NETFLOW.

[+] Сокращено на 30% потребление ресурсов при перехвате трафика.

[-] Исправлена ошибка распаковки socks-тоннелей.

Анализ перехваченных объектов:

[+] Изменён внутренний формат представления обрабатываемых событий, на основе этого реализована строгая типизация результатов анализа.

Теперь все детектируемые события (сообщения) укладываются в следующую схему:

registration <- событие регистрации в системе

profile <- событие изменения профиля в системе

send_msg <- событие отправки сообщения

recv_msg <- событие получения сообщения

send_file <- событие отправки файла

recv_file <- событие получения файла

conversation <- событие перехвата беседы

contacts <- событие пересылки контактов

search_query <- событие поискового запроса

[+] Сокращено на 15% потребление ресурсов при детектировании сообщений.

Доставка результатов анализа системам-потребителям:

[+] Выполнена интеграция с DLP-решением FALCONGAZE Secure Tower.

[+] Реализована прямая доставка результатов анализа из IPC-канала по протоколу SYSLOG, в том числе и объектов, получаемых при RAW-фильтрации в службе анализа. Результаты анализа доставляются в формате CEF-HTTP или SQUID ACCESS LOG. Количество потребителей не ограничено. Также реализована возможность доставки результатов анализа с использованием TCP over SSL.

[+] Реализована прямая доставка результатов анализа из IPC-канала по протоколу NETFLOW версий 1, 5 и 9. Теперь информация о всех TCP/UDP сессиях, обработанных платформой EtherSensor может быть доставлена на NETFLOW-серверы. Количество потребителей не ограничено. Реализована возможность доставки результатов анализа с использованием TCP over SSL. Примеры потребителей: Splunk(NetFlow Analytics for Splunk), McAfee Security Information and Event Management (SIEM), IBM QRadar Security Intelligence Platform, HP ArcSight.

[+] Обновлён модуль LUA-интеграции для отправки по протоколу SYSLOG в формате CEF. Примеры потребителей: Splunk, HP ArcSight, IBM QRadar, LogRhythm, EMC-RSA NetWitness, McAfee Enterprise Security Manager/NitroView, Symantec Security Information Manager (SSIM).

[+] Обновлён модуль доставки результатов в формате JSON.

[+] Обновлён модуль доставки результатов в формате XML.

[+] Обновлён модуль доставки результатов в формате EML.

[+] Сокращено потребление ресурсов при доставке результатов анализа.

Журналирование:

[+] Добавлено отображение информации об обработанных соединениях с использованием IPv6.

Консоль управления:

[+] Добавлен интерфейс управления транспортными профилями FALCONGAZE.

[+] Добавлен интерфейс управления транспортными профилями SYSLOG при работе напрямую с IPC-каналом.

[+] Добавлен интерфейс управления транспортными профилями NETFLOW при работе напрямую с IPC-каналом.

2018-04-25 Версия 5.0.3.12929

Среда выполнения

Windows Server 2008, Windows Server 2012, Windows Server 2016.

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+] Обновлен перехват FTP в случае, когда клиент и/или сервер находятся за NAT.

[+] Улучшена работа с фрагментированными IP пакетами.

[+] Интеграция с обновлённым IPC на уровне ядра операционной системы.

Анализ перехваченных объектов:

[+] Обновлены детекторы: odnoklassniki.ru, !generic.

[+] Добавлено поле <PRI> в CEF-лог для HTTP запросов.

[-] Исправлено формирование строки CEF|SquidAccess: возможен был вариант request=/https://r3– (лишний “/” после “=”).

Доставка результатов анализа системам-потребителям:

[+] Обновлены библиотеки iwthrift.dll, libcrypto-1_1-x64.dll, libcurl.dll, libssh2.dll, libssl-1_1-x64.dll, libxml2.dll, libxmlsec-openssl.dll, libxmlsec.dll, libxslt.dll, zlib1.dll.

[+] Добавлено направление скачивания/загрузки для событий SMB в InfoWatch Traffic Monitor.

[+] Добавлено направление скачивания/загрузки для событий FTP в InfoWatch Traffic Monitor.

[-] Исправлена редкая ошибка при конвертировании сообщений в EML: в некоторых случаях неправильно обрабатывались переносы строк в заголовках.

[-] Исправлена незначительная ошибка подсчёта объёма отправленных потребителю данных.

[+] Обновлён Lua-скрипт для SYSLOG-транспорта, входящий в поставку.

[-] Исправлена ошибка в Lua engine для SYSLOG-транспорта: некорректное получение контента тела сообщения в Lua-скрипте.

Журналирование:

[+] Уточнено вычисление и отображение счётчиков производительности.

Консоль управления:

[+] Добавлена возможность удалить квотируемые накопленные результаты.

[+] Добавлена возможность удалить накопленные журналы EtherSensor.

[+] В настройки служб добавлена кнопка “Применить”. Действие кнопки – сохранить изменения и перезапустить службу(службы).

[+] Улучшена логика управления запуском и остановкой служб при обновлении EtherSensor.

Служба обновления

[+] Улучшена работа службы обновления через прокси сервер.

[-] Исправлена обработка русских символов в конфигурации службы обновления.

2018-03-20 Версия 5.0.2.12765

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+] Обновлён движок перехвата трафика.

[+] Поддержка технологии RSS. Поддержка аппаратного ускорения обработки трафика на многоядерных системах с использованием серийного оборудования.

[+] Интеграция с обновлённым IPC на уровне ядра операционной системы.

[+] Обработка потоков трафика до 20 Gbit.

[+] Сокращение потребления ресурсов в 4 раза.

[+] Перехват и обработка протокола WebSocket.

[+] Перехват и обработка протокола SMB1 и SMB2.

[+] Обновление протокола ICQ и MRA.

[+] Декапсуляция WEB туннелей (метод CONNECT, WebSocket).

[+] Декапсуляция SOCKS туннелей, распознавание и обработка протоколов внутри SOCKS.

[-] Исправлены ошибки в обработке протокола IMAP4.

Анализ перехваченных объектов:

[+] Обновлён движок IPC (Inter Process Communications).

[+] Ускорение обработки данных в режиме реального времени.

[+] Сокращение потребления ресурсов в 2 раза.

[+] Расширение обработки видов запросов HTTP, добавлена поддержка методов ACL, AJAX, BAN, BASELINE-CONTROL, BCOPY, BDELETE, BIND, BITS_POST, BMOVE, BPROPFIND, BPROPPATCH, CCM_POST, CHECKIN, CHECKOUT, CONNECT, COPY, DELETE, GET, HEAD, HTML, INVOKE, JSON, LABEL, LINK, LOCK, LOG, MERGE, MKACTIVITY, MKCOL, MKREDIRECTREF, MKWORKSPACE, MOVE, M-SEARCH, NETHCMD, NOTIFY, OPTIONS, ORDERPATCH, PATCH, POLL, POST, PROPFIND, PROPPATCH, PURGE, PUT, REBIND, REPORT, REQMOD, RESPMOD, SEARCH, SCRIPT, SOURCE, SUBSCRIBE, TRACE, UNBIND, UNCHECKOUT, UNLINK, UNLOCK, UNSUBSCRIBE, UPDATE, UPDATEREDIRECTREF, VERSION-CONTROL, X-MS-ENUMATTS.

[+] В фильтр HTTP добавлена возможность генерации лога HTTP запросов в формате CEF для доставки в SIEM-системы.

[+] Детектирование чатов на базе WebSocket (Skype, Mobile Applications, Web Chats).

[+] Обработка событий Web WhatsUp (Списки контактов, Идентификация пользователей).

[+] Детектирование сообщений на базе Google Protobuf (Gmail).

[+] Детектирование сообщений Web Skype.

[+] Детектирование сообщений Web ICQ, MRA (Mail.ru Group).

[+] Детектирование передачи файлов по протоколам SMB1 и SMB2.

[+] Обновление Web детекторов: !generic,!fileupload, accounts, facebook.com, google.com, mail.ru, mamba.ru, odnoklassniki.ru, vkontakte.ru, yandex.ru.

Доставка результатов анализа системам-потребителям:

[+] Интеграция с IPC.

[+] Сокращение потребления ресурсов в 2 раза.

[+] Доставка сообщений по протоколу SYSLOG. Кастомизировано создание сообщений для протокола SYSLOG за счёт интеграции со скриптовым языком Lua. Добавлена возможность формирования сообщений в собственных форматах.

[+] Доставка сообщений по протоколу SYSLOG с использованием TCP, реализована поддержка SSL.

[+] Добавлен модуль LUA-интеграции для отправки по протоколу SYSLOG в формате CEF. Примеры потребителей: Splunk, HP ArcSight, IBM QRadar, LogRhythm, EMC-RSA NetWitness, McAfee Enterprise Security Manager/NitroView, Symantec Security Information Manager (SSIM).

Журналирование:

[+] Записи журналов EtherSensor переведены и ведутся на английском языке.

[+] Добавлен журнал HTTP запросов в формате CEF.

Консоль управления:

[+] Служба обновления интегрирована в инсталляционный пакет Ethersensor.

2016-09-16 Версия 4.5.6.10479

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлен парсер протокола httpv2;

[+]Добавлен парсер протокола skype: перехват, передача файлов, текстовых сообщений, контакт-листов;

[-]Исправлена ошибка в обработке протоколов http, ftp, pop3;

[-]Исправлена ошибка при обработке конфигурации старой версии;

Служба EtherSensor ICAP:

[+]Значение заголовка X-Sensor-Net-Interface-Id теперь формируется с использованием значения прослушиваемого порта, например: icap-000-1344.

[-]Исправлена ошибка в обработке заголовков протокола ICAP, приводившая к некорректному формированию сообщения.

Анализ перехваченных объектов:

[+]Чтобы при обработке сообщений, передаваемых по протоколу httpv2, различать результаты в обработке фильтра HTTP запросов, добавлен заголовок X-Sensor-Httpv2: Microolap EtherSensor.

[+]Обработка сообщений, передаваемых по протоколу skype.

[+]В HTTP фильтр добавлено условие “Проверить идентификатор сетевого интерфейса (X-Sensor-Net-Interface-Id)”.

[+]В фильтр сообщений добавлено действие “Удалить вложение сообщения по имени”.

[+]Обновлены детекторы: !generic,!fileupload,cv (careerist.ru, hh.ru, job.ru, job50.ru, job-mo.ru, jobsmarket.ru, rabotavia.ru, rabota.by, rabota.ru, rosrabota.ru, superjob.ru, zarplata.ru), facebook.com, google.com, gorod55, ipboard, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, mfd.ru, my.mail.ru, mybb, odnoklassniki.ru, phpBB, pochta.ru (qip.ru), rambler.ru, smsmms (skylink.ru, megafon.ru, mts.ru, tele2.ru), twitter.com, vbulletinboard, vkontakte.ru, wordpress.com, yandex.ru, xmpp

[-]Исправлена ошибка в обработке поисковых запросов.

[-]Исправлена ошибка в обработке MIME частей.

Доставка результатов анализа системам-потребителям:

[+]Добавлен DeviceLock Enterprise Server (DLES) транспорт. Позволяет нативным образом доставлять сообщения в DeviceLock Enterprise Server.

[-]Исправлена ошибка в форматировании сообщения в формат EML.

[-]Исправлена ошибка в кодировании аттачмента сообщения в base64.

[-]Исправлена ошибка отправки чатов в INFOWATCH Traffic Monitor.

Журналирование:

[+]Добавлено журналирование счётчиков отладки.

Консоль управления:

[+]В HTTP-фильтр добавлено условие “Проверить идентификатор сетевого интерфейса (X-Sensor-Net-Interface-Id)”.

[+]В фильтр сообщений добавлено действие “Удалить вложение сообщения по имени”.

[+]Добавлен профиль транспортировки сообщений в DeviceLock Enterprise Server.

2016-05-11 Версия 4.5.5.10199

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Профилирование кода, повышение производительности службы EtherSensor EtherCAP на 20%.

[-]Отказ от плагинной системы для парсеров протоколов.

Анализ перехваченных объектов:

[*]Профилирование кода, повышение производительности службы EtherSensor Analyser на 50%.

[+]Добавлена возможность сохранения перехваченных сообщений в формате JSON.

[+]Повышена достоверность детектирования кодировки сообщений.

[+]Повышена достоверность детектирования сообщений.

[+]Обновлены детекторы: !generic, accounts, chanboard, cv (careerist.ru, hh.ru, hotjob.ru, jobsmarket.ru, job.ru, rabotamedikam.ru, rabotavgorode.ru, rabota.mail.ru, rabota.ru, rosrabota.ru, superjob.ru, zarplata.ru), hotmail.com, facebook.com, google.com, gorod55, icq, ipboard, linkedin.com, livejournal.com, loveplanet.ru, lync, mail.ru, mamba.ru, my.mail.ru, mybb, myspace.com, newmail.ru, nextmail.ru, odnoklassniki.ru, phpBB, pochta.ru (qip.ru), rambler.ru, smsmms (beeline.ru, megafone.ru, mts.ru, tele2.ru), twitter.com, vbulletinboard, vkontakte.ru, ukr.net, wordpress.com, yandex.ru, yahoo.com.

[-]Отказ от плагинной системы детекторов сообщений.

[-]Исправлена редко воспроизводимая ошибка, приводящая к утечке памяти.

[-]Исправлена ошибка обработки временных файлов, приводившая к утечке дискового пространства.

[-]Исправлена ошибка обработки сообщений Microsoft Skype For Buisness.

Доставка результатов анализа системам-потребителям:

[+]Добавлен транспортный профиль INFOWATCH Traffic Monitor.

[-]Исправлена ошибка форматирования сообщения в формат EML.

[-]Исправлена редко воспроизводимая ошибка, приводящая к утечке памяти при формировании EML-конверта.

[-]Исправлена редко воспроизводимая ошибка: в некоторых случаях при чтении конфигурации было падение службы транспорта.

Консоль управления:

[+]Добавлен профиль транспортировки сообщений INFOWATCH Traffic Monitor транспорт.

[+]В диагностический отчёт EtherSensor добавлено время последнего изменения конфигурационного файла.

[-]Исправлена ошибка обработки атрибутов правил в фильтрах сообщений.

2016-02-09 Версия 4.5.4.9893

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлён парсер протокола ICQ.

[*]Обновлён парсер протокола ICAP для интеграции с ICAP-клиентами методом пассивного прослушивания трафика.

Служба EtherSensor ICAP:

[-]Исправлена ошибка записи в лог.

Анализ перехваченных объектов:

[+]Ускорено конвертирование вложений в EML формат.

[+]Добавлен механизм передачи сообщений в транспортную службу в обход дисковой подсистемы.

[+]Повышена достоверность детектирования сообщений.

[+]Обновлены детекторы: !generic, accounts, chanboard, cv (careerist.ru, hh.ru, hotjob.ru, jobsmarket.ru, job.ru, rabotamedikam.ru, rabotavgorode.ru, rabota.mail.ru, rabota.ru, rosrabota.ru, superjob.ru, zarplata.ru), hotmail.com, facebook.com, google.com, gorod55, icq, ipboard, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, my.mail.ru, mybb, myspace.com, newmail.ru, nextmail.ru, odnoklassniki.ru, phpBB, pochta.ru (qip.ru, borda.ru, pochta.com), plaxo.com, rambler.ru, search-query, smsmms (beeline.ru, megafone.ru, mts.ru, mysmsbox.ru, tele2.ru), twitter.com, vbulletinboard, vkontakte.ru, wordpress.com, yandex.ru, yahoo.com.

[-]Исправлена редко воспроизводимая ошибка, приводившая к утечке памяти.

[-]Исправлена редко воспроизводимая ошибка фильтрации сообщений.

Доставка результатов анализа системам-потребителям:

[*]Распределение нагрузки на системы-потребители результатов анализа реконструированных объектов с использованием DNS Round Robin.

[+]Добавлены счётчики ошибок работы кэша транспортной службы.

[-]Исправлена ошибка в формировании EML-конверта.

Журналирование:

[+]Добавлена запись счётчиков кэша службы Доставки результатов в файл counters.log.

Консоль управления:

[*]Запуск, остановка, пауза и перезапуск выполняются теперь в отдельных потоках.

[*]Изменён пользовательский интерфейс редактирования фильтра сообщений.

[+]Уточнены описания счётчиков.

2015-12-16 Версия 4.5.3.9707

Консоль управления:

[+]Актуализированы названия модулей в системе лицензирования.

2015-12-15 Версия 4.5.2.9700

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Улучшена обработка GRE протокола.

[*]Улучшена обработка PCAP-файлов.

[+]Добавлена поддержка Windows 10 (Windows Server 2016 Preview).

[+]При остановке службы добавлено принудительное закрытие потоков после 10 секундного таймаута для отзывчивости при перезагрузке службы.

Служба EtherSensor ICAP:

[+]Подключена возможность создавать отчёты при падениях службы.

[+]При остановке службы добавлено принудительное закрытие потоков после 10 секундного таймаута, для отзывчивости при перезагрузке службы.

[-]Исправлена ошибка работы в среде Windows Server 2003.

[-]Исправлена ошибка работы с Allow 204.

[-]Исправлена ошибка с неправильным месяцем в именах файлов и папок для Raw дампа ICAP.

Анализ перехваченных объектов:

[+]Добавлен принудительный перенос тела – “This is a multipart message in MIME format.” в конец списка тел сообщений.

[+]Подключена возможность создавать отчёты при падениях службы.

[+]Расширен лог об ошибках при инициализации контекстов детектирования сообщений.

[-]Исправлена ошибка действия фильтра сообщений (“Выполнить запись в лог”).

[-]Исправлена ошибка в обработке данных из директории data\replay.

[-]Исправлена ошибка в обработке данных, поставляемых Агентами EtherSensor.

[-]Исправлена ошибка обработки XML файлов.

[-]Исправлена ошибка в разборе RFC822 EML адресов.

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка отправки результата групповым профилем – поток, использующий групповой профиль мог уходить в бесконечный цикл.

[-]Исправлена ошибка формирования EML-конверта.

Журналирование:

Консоль управления:

[+]Уточнено отображение счётчиков.

[-]Исправлена ошибка потери фокуса при переключении между узлами дерева на вкладке “Производительность”.

2015-11-11 Версия 4.5.1.9623

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Значительно уменьшен расход памяти при захвате трафика.

[*]В библиотеке захвата трафика Packet Sniffer SDK повышена производительность реконструкции TCP соединений.

[+]В библиотеке захвата трафика Packet Sniffer SDK добавлена обработка пакетов VLAN 802.1Q.

[+]В библиотеке захвата трафика Packet Sniffer SDK добавлена установка максимального значения удерживаемых пакетов на один TCP поток.

[+]Добавлен парсер протокола SOCKS4 и SOCKS5. Позволяет отслеживать и перехватывать туннелируемые через протокол SOCKS.

[+]Добавлен парсер ICAP. Позволяет пассивно отслеживать ICAP соединения, не меняя существующей архитектуры.

Служба EtherSensor ICAP:

[+]Добавлен режим работы SECURE ICAP. Теперь ICAP сервер может использовать SSL для создания защищённых соединений с ICAP клиентами.

[+]Добавлен перехват LYNC сообщений на серверах Microsoft Lync (Microsoft Skype for Business). Работает в связке с Microolap LYNC агентом, который работает через ICAP протокол.

Анализ перехваченных объектов:

[*]Значительно уменьшен расход памяти при детектировании и анализе сообщений.

[+]В фильтр сообщений добавлена возможность отправки произвольного (составного) сообщения на SYSLOG-сервер для интеграции с SIEM системами.

[+]Добавлена отправка детектируемых поисковых запросов по протоколу SYSLOG для поисковых систем (google.com, rambler.ru, yandex.ru, mail.ru, aport.ru, bing.com, yahoo.com, wikipedia.org).

[+]Обновлены детекторы сообщений: blogger.com, cv (careerist.ru, hh.ru, job50.ru, job.ru, rabota.ru, superjob.ru, zarpalata.ru), facebook.com, hotmail.com, linkedin.com, livejournal.com, loveplanet.ru, mamba.ru, mail.ru, my.mail.ru, moikrug.ru, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (beeline.ru, megafon.ru, mts.ru, skylink.ru, tele2.ru, wsms.ru), ukr.net, vkontakte.ru (добавлено чтение входящих сообщений), wordpress.com.

Доставка результатов анализа системам-потребителям:

[*]Значительно уменьшен расход памяти при отправке сообщений.

[+]Добавлен новый транспортный протокол SFTP для отправки сообщений по протоколу SSH.

Консоль управления:

[+]Добавлен транспортный профиль (SFTP).

2015-10-01 Версия 4.5.0.9505

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлены парсеры протоколов ICAP и SOCKS;

Служба EtherSensor ICAP:

[+]ICAP сервер теперь поддерживает защищённые соединения Secure ICAP (SSL);

[+]Добавлен перехват LYNC сообщений на серверах Microsoft Lync. Работает в связке с Microolap LYNC агентом;

[+]Добавлена отправка детектируемых поисковых запросов по протоколу SYSLOG.

Анализ перехваченных объектов:

[*]Значительно уменьшен расход памяти;

[+]Обновлены детекторы протоколов;

[+]Добавлен перехват входящих сообщений vkontakte.ru.

Доставка результатов анализа системам-потребителям:

[+]Добавлен новый транспортный протокол SFTP.

Журналирование:

[+]Для сообщений отправляемых по протоколу SYSLOG, теперь можно назначать имя канала.

Консоль управления:

[+]Добавлена отправка статистки по протоколу SYSLOG.

2014-07-08 Версия 4.4.1.8036

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека перехвата трафика Packet Sniffer SDK: повышена производительность реконструкции TCP соединений.

[*]Доработан парсер POP3:

добавлена поддержка расширения AUTH с многострочным ответом;

корректно обрабатывается ситуация, когда Login и Password не указаны.[+]Добавлен парсер протокола IMAP4.

[+]Добавлен парсер протоколов NMDC и ADC (DC++).

[+]Добавлен детектор протокола TORRENT для TCP соединений.

[+]Доработан детектор протокола SSL (добавлена поддержка TLS 1.1 и TLS 1.2).

[-]Исправлена ошибка в детекторе протокола SSL, в некоторых случаях приводившая к незначительной утечке памяти.

[-]Исправлена ошибка в подсчёте сессий, закрываемых по тайм-ауту.

[-]Исправлена ошибка обработки PCAP-файлов: убран “жесткий” сброс сессий для PCAP-файла при завершении его обработки, теперь соединения закрываются по тайм-ауту.

Служба EtherSensor ICAP:

[-]Исправлена ошибка перекодирования заголовков X-Sensor-Icap-Authenticated-User, X-Sensor-Icap-Authenticated-Group.

[-]Исправлена ошибка передачи запросов в службу анализа: в редких случаях запросы не передавались для дальнейшей обработки.

Анализ перехваченных объектов:

[*]Повышены достоверность распознавания и производительность обработки сообщений в детекторе !generic.

[*]Повышена достоверность распознавания выгрузки (загрузки) файлов в детекторе !file-upload. Сделано более логичным формирование имени файла из URL для случаев, когда в HTTP-запросе его имя явно не указано.

[+]Обновлены детекторы: blogger.com, cv (careerist.ru, hh.ru, job50.ru, job.ru, job-mo.ru, job.ws, jobsmarket.ru, rabotamedikam.ru, rabotavgorode.ru, rabota.mail.ru, rabota.ru, superjob.ru, zarpalata.ru), diary.ru, google.com, gorod55, facebook.com, hotmail.com, linkedin.com, livejournal.com, loveplanet.ru, mamba.ru, mail.ru, my.mail.ru, mfd.ru, moikrug.ru, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (beeline.ru, megafon.ru, mts.ru, skylink.ru, tele2.ru, wsms.ru), twitter.com, yandex.ru, yahoo.com, ukr.net, vkontakte.ru, wordpress.com.

[+]Добавлен детектор OWA (Outlook Web Access). Детектирует отправляемые, редактируемые и просматриваемые сообщения в системе Outlook Web Access.

[-]В фильтре сообщений исправлена ошибка обработки условий (CHECK-MESSAGE-ID, CHECK-MD5) для фильтрации дубликатов сообщений по полю Message-ID или по хешу MD5 сообщения. В некоторых случаях выполнение данных действий завершалась с ошибкой.

[-]Исправлена ошибка обработки email-сообщений с пустым полем TO. В некоторых случаях обработка таких сообщений завершалась с ошибкой.

[-]Исправлена ошибка обработки имени файла в детекторе FTP. В некоторых случаях обработка таких сообщений завершалась с ошибкой.

[-]Исправлена ошибка декодирования HTTP-запросов, в некоторых случаях параметры HTTP оставались не декодированными.

[-]Исправлена ошибка в детекторах IM, в некоторых случаях декодирование данных в формате BASE64 завершалось с ошибкой.

Доставка результатов анализа системам-потребителям:

[*]Повышена производительность SMTP транспорта.

Журналирование:

[*]Уменьшен размер потребляемых ресурсов процессом сбора и сохранения значений счётчиков EtherSensor.

[+]Расширен формат записи журнала транспортной службы, в журналируемые сообщения добавлены числовые идентификаторы отправляющих потоков для отслеживания последовательности событий конкретного отправляющего потока.

Консоль управления:

[+]Добавлена проверка работоспособности транспортных профилей (SMTP, FTP, FILEDROP, SMB). Теперь при изменении параметров транспортного профиля можно проверить его работоспособность минуя процесс перехвата и обработки сообщения.

[+]Добавлен вывод ipconfig /all в отчёт о работе EtherSensor.

[+]Добавлены редактор фильтров HTTP-запросов и редактор фильтра сообщений. Теперь для управления фильтрами используется графическая оболочка.

[+]Редактирование квот обрабатываемых результатов вынесено в файл quotas.xml.

2013-11-12 Версия 4.4.0.7340

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Изменен драйвер перехвата трафика pssdk6.sys. В некоторых ситуациях старая версия приводила к BSOD;

[*]Изменен алгоритм разбора URI в парсере протокола HTTP;

[*]Изменен парсер протокола FTP: в некоторых случаях приводило к падению службы ethcapsvc.exe;

[*]Изменен парсер протокола SMTP: некорректно обрабатывались многострочные ответы сервера для ПРИВЕТСТВИЯ и пр. команд.

[*]Теперь TCP соединения, которые не имеют нормального завершения согласно RFC, журналируются со статусом warning.

Анализ перехваченных объектов:

[*]Повышена достоверность распознавания и производительность обработки сообщений Lotus Notes;

[*]В фильтре сообщений обновлено условие (CHECK-MESSAGE-ID) для фильтрации дубликатов сообщений по полю Message-ID;

[+]Теперь для протокола LOTUS проверяется заголовок X-Sensor-Lotus-MessageId;

[*]В фильтре сообщений обновлено условие для фильтрации сообщений по IP-адресу. Добавлен тип проверки адреса any.

[+]В фильтре сообщений добавлено действие SAVE RAW DATA. Действие позволяет для сообщения сохранять исходные данные, из которых оно было получено;

[+]Добавлена возможность исходные данные прикреплять к сообщению в виде аттачмента:

<rule enabled=”1″>
<comment>For all HTTP objects save original data.</comment>
<match>
<c name=”protocol” value=”http” />
</match>
<action name=”save-raw-data” value=”true” />
</rule>

[+]Обновлены детекторы: CV (hh.ru, job50.ru, job.ru, job.ws, jobsmarket.ru, rabotamedikam.ru, rabotavgorode.ru, rabota.mail.ru, rabota.ru, rabota.by, superjob.ru), diary.ru, google.com (добавлен перехват WEB сообщений Google Hangouts), gorod55, facebook.com, linkedin.com, livejournal.com, loveplanet.ru, mamba.ru, mail.ru, my.mail.ru, mfd.ru, moikrug.ru, pochta.ru, smsmms (mysmsbox.ru, megafon.ru, mts.ru, skylink.ru, tele2.ru, wsms.ru), yandex.ru, yahoo.com, ukr.net, vkontakte.ru, wordpress.com.

[+]Добавлена реконструкция файлов, загружаемых отдельными частями по протоколу HTTP;

[+]Исправлена ошибка перехода в демонстрационный режим с действующей лицензией: некорректно проверялись даты окончания действия лицензии модуля.

Доставка результатов анализа системам-потребителям:

[+]В заголовки сообщений добавлен текущий UHID EtherSensor: заголовок X-Sensor-UHID;

[-]Исправлена ошибка в транспорте SMTP. Иногда для отправки сообщений в архив использовались уже закрытые соединения.

Журналирование:

[*]Теперь некорректно завершенные TCP соединения журналируются со статусом warning. В конфигурации по умолчанию для службы watcher создаётся правило, которое журналирует такие сообщения в отдельный файл.

[-]В сообщениях системы журналирования исправлена ошибка подсчета оставшегося времени действия модуля;

[-]Исправлена ошибка получения полного пути к файлу журналирования сообщений;

[-]Исправлена ошибка сохранения статистики, в некоторых случаях приводившая к утечке памяти.

Консоль управления:

[*]Утилиты mconsole.exe, kppsreport.exe, perfmonitor.exe объединены в одно приложение для управления EtherSensor – mconsole.exe;

[+]Для сохранения изменённой конфигурации добавлена горячая клавиша Ctrl+S;

[+]Добавлена возможность остановки, запуска и перезапуска всех служб EtherSensor разом;

[+]Добавлена возможность распаковки Диагностического отчёта EtherSensor в отдельную директорию.

[+]Для повышения читаемости фильтров добавлена возможность переформатирования фильтров сообщений и фильтров HTTP-запросов.

[-]Исправлена ошибка отображения фильтров (некорректная кодировка фильтра);

[-]Исправлена ошибка получения полного пути к файлу журналирования сообщений;

[-]Исправлена ошибка обновления счётчиков производительности;

[-]Исправлена ошибка загрузки и отображения лицензии. В некоторых случаях происходил сбой работы приложения;

[-]Исправлена ошибка сохранения настроек профиля filedrop;

2013-07-10 Версия 4.3.9.7149

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[-]Исправлена ошибка в парсере протокола SSL. В некоторых случаях некорректная работа парсера приводила к падению службы ethcapsvc.exe.

[-]Исправлена ошибка подсчёта распознаваемых соединений парсерами протоколов.

Анализ перехваченных объектов:

[*]Обновлён алгоритм восстановления индекса спула директорий. Обновлена библиотека System.Data.SQLite.dll (версия 1.0.86.0).

[+]Добавлена работа с анонимайзерами: если список анонимайзеров не пуст, то детекторы сервисов обрабатывают также и трафик по доменам из списка. Обновлена конфигурация службы EtherSensor Analyser.

[+]Добавлен детектор сервиса gorod55.ru.

Доставка результатов анализа системам-потребителям:

[+]Добавлен транспортный профиль SMB. Данный профиль позволяет писать сообщения на сетевые папки.

[+]Добавлен транспортный профиль GROUP. Данный профиль предназначен для резервирования транспортных профилей и балансировки нагрузки на потребителей сообщений.

[+]В алгоритм работы транспортного профиля SMTP добавлен флаг keep-connection, который позволяет включать/отключать удержание соединения с SMTP-сервером.

[+]Во все транспортные профили добавлена опция profile-fail-timeout, которая позволяет выставлять в секундах время блокировки профиля в случае невозможности отправить сообщение на указанный приёмник.

[+]Во все транспортные профили добавлена опция pgo-profile-reserve, которая позволяет выставлять флаг резервирования профиля. Данная настройка действительна только в составе группового профиля.

[+]Во все транспортные профили добавлена опция profile-fail-timeout, которая позволяет выставлять вес профилю. Данная настройка действительна только в составе группового профиля.

Журналирование:

[-]Исправлена ошибка архивирования статистики работы EtherSensor.

Консоль управления:

[+]Добавлено управление списком доменов анонимайзеров.

[+]Во все типы транспортных профилей добавлены опции profile-fail-timeout, pgo-profile-reserve, profile-fail-timeout;

[+]Добавлено управление транспортными профилями SMB и GROUP.

2013-05-30 Версия 4.3.8.6986

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека Packet Sniffer SDK (pssdk.dll). В некоторый случаях при обработке перехваченного трафика предыдущая версия библиотеки приводила к падению службы EtherSensor EtherCAP.

Служба EtherSensor ICAP:

[+]Добавлена поддержка новой опции лицензии “ICAP интеграция”.

Анализ перехваченных объектов:

[*]Обновлены детекторы: CV (hh.ru, jobsmarket.ru, job.ru, rabota.ru, superjob.ru, zarpalata.ru), blogger.com, chanboard, facebook.com, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, my.mail.ru, pochta.ru, rambler.ru, twitter.com, vkontakte.ru, yahoo.com, yandex.ru, ukr.net, wordpress.com.

[+]В фильтр сообщений добавлено новое условие проверки для заголовка Message-ID;

[+]В фильтр сообщений добавлено новое действие для добавления/изменения в сообщении произвольного заголовка (за исключением заголовков From, To, Cc, Bcc, Subject, Date).

Доставка результатов анализа системам-потребителям:

[*]Обновлена конфигурация службы: во всех типах транспортных профилей заменена опция save-xheaders на опцию save-headers для сохранения заголовков сообщения в отдельное вложение с именем microolap_msis_headers.txt;

[*]Повышена производительность SMTP транспорта: теперь в текущем соединении выполняется отправка сразу нескольких сообщений.

Журналирование:

[*]Обновлена конфигурация службы EtherSensor Watcher: добавлена возможность управления накоплением статистики работы EtherSensor;

[*]Повышена производительность архивирования журналов и статистики EtherSensor, сокращен размер требуемого дискового пространства.

Консоль управления:

[*]Изменён внешний вид отображения счётчиков.

[+]Во все типы транспортных профилей добавлена опция сохранения заголовков в отдельное вложение сообщения save-headers;

[+]Добавлено управление накоплением статистики работы EtherSensor.

2013-04-08 Версия 4.3.7.6840

Анализ перехваченных объектов:

[*]Обновлён алгоритм детектирования почтовых адресов (From, To, Cc, Bcc);

[*]Профилирование кода с целью уменьшения потребления памяти;

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job-mo.ru, job50.ru, jobsmarket.ru, job.ru, rabotavgorode.ru, rabota.mail.ru, rabota.ru, superjob.ru, zarpalata.ru), blogger.com, facebook.com, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, my.mail.ru, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (beeline.ru, megafon.ru, mts.ru, smste.ru, tele2.ru), twitter.com, vkontakte.ru, yahoo.com, yandex.ru, wordpress.com.

Доставка результатов анализа системам-потребителям:

[+]В службе EtherSensor Transfer добавлена возможность управления количеством отправляющих потоков;

[+]В службе EtherSensor Transfer во все типы транспортных профилей добавлена опция save-xheaders – сохранения заголовков X-Sensor, X-Sensor в отдельное тело сообщения.

Консоль управления:

[*]Изменён внешний вид отображения счётчиков в узлах “Быстродействие”, “Сетевые адаптеры”, “Кэш перехватываемых объектов”, “Дисковые квоты”.

[+]Добавлено редактирование Sensor ID при конфигурировании службы EtherSensor Transfer;

[+]Добавлено управление количеством отправляющих потоков службы EtherSensor Transfer, которое зависит от аппаратных ресурсов сенсора и может находится в диапазоне от 1 до CPU * 2.

[+]Во все типы транспортных профилей добавлена опция save-xheaders сохранения заголовков X-Sensor в отдельное тело сообщения.

2013-03-11 Версия 4.3.6.6714

Источники данных и реконструкция объектов

[-]Исправлена ошибка в модуле обработки исключительных ситуаций crashreport.dll.

Анализ перехваченных объектов:

[*]Повышена достоверность детектирования почтовых адресов (From, To, Cc, Bcc);

[*]Профилирование кода с целью уменьшения потребления памяти.

Консоль управления:

[*]Ограничен сбор информации о PCAP файлах и минидампах: не более 50 в списке.

2013-02-21 Версия 4.3.5.6608

Анализ перехваченных объектов:

[+]Обновлены детекторы: blogger.com, hotmail.com, myspace.com, moikrug.ru, rambler.com, twitter.com, ukr.net, yahoo.com.

[-]Исправлена ошибка анализа HTTP-запросов от ICAP-сервера EtherSensor.

2013-02-14 Версия 4.3.4.6584

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Теперь при обработке исключительных ситуаций служба принудительно перезагружается. Ранее служба пыталась продолжать работать, что приводило к неконтролируемому расходу памяти и другим сбоям (например, большому количеству дампов процесса службы).

[-]Исправлена ошибка в драйвере перехвата трафика, в некоторых случаях приводившая к перезагрузке ОС (Win2008/Win7/Win2012/Win8) при деинсталляции;

Анализ перехваченных объектов:

[*]Уменьшено использование памяти и ресурсов CPU при обработке реконструированных объектов;

[+]Обновлены детекторы: yahoo.com, yandex.com.

[+]Теперь для работы с агентами EtherSensor лицензия EtherSensor должна содержать опцию для работы с агентами EtherSensor;

[-]Исправлена ошибка анализа параметров форм HTTP-запросов;

Консоль управления:

[-]Исправлена ошибка построения диагностического отчёта: в некоторых случаях консоль управления могла расходовать большое количество памяти при построении отчёта о работе EtherSensor;

[-]Исправлена ошибка проверки файла version.xml системы обновления EtherSensor.

2013-02-01 Версия 4.3.3.6536

Анализ перехваченных объектов:

[+]Добавлена поддержка нового сообщения от агента EtherSensor, позволяющая в результат перехвата добавлять заголовки X-Sensor-UID-AdapterType, X-Sensor-UID-MacAddress;

[+]Обновлены детекторы: !generic.

Консоль управления:

[*]Ускорена загрузка приложения;

[*]Скорректировано редактирование пакетных фильтров.

2012-12-26 Версия 4.3.2.6488

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлена поддержка работы с новым драйвером для перехвата трафика. Теперь новый драйвер используется при инсталляции на ОС Windows Vista и старше (до Windows 8/Windows 2012 включительно);

[-]Исправлена ошибка реконструкции TCP соединений. Теперь учитываются флаги ECE и CWR (RFC 3168).

2012-12-07 Версия 4.3.1.6448

Источники данных и реконструкция объектов

Служба EtherSensor LotusTXN

[+]Реализовано получение времени отправки сообщения;

[-]Исправлена ошибка, происходившая при закрытии сетевого ресурса с файлами Lotus Notes Transaction Log.

Анализ перехваченных объектов:

[+]Обновлены детекторы: blogger.com, CV (hh.ru, job-mo.ru, job.ru, rabota.ru, rabota.mail.ru, superjob.ru), facebook.com, livejournal.com, linkedin.com, mail.ru, mamba.ru, my.mail.ru, myspace.com, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (megafon, mts), twitter.com, vkontakte.ru, yahoo.com, yandex.ru.

[-]Исправлена ошибка распознавания email-адресов;

Консоль управления:

[+]Добавлена настройка SMTP порта в профиле SMTP;

[-]Исправлены ошибки добавления правила журналирования.

2012-11-21 Версия 4.3.0.6413

Источники данных и реконструкция объектов

[+]Релиз службы EtherSensor LotusTXN, извлекающей сообщения из Lotus Notes Transaction Log.

Анализ перехваченных объектов:

[+]Анализ объектов, поставляемых службой EtherSensor LotusTXN.

2012-11-15 Версия 4.2.3.6399

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека перехвата трафика Packet Sniffer SDK. Повышена производительность реконструкции TCP соединений, уменьшен объём потребления памяти;

[*]Изменено отображение счётчиков производительности захвата трафика.

Служба EtherSensor LotusTXN

[*]Предрелиз службы EtherSensor LotusTXN.

Анализ перехваченных объектов:

[*]Выполнена отдельная очередь для анализа больших “сырых” (в контексте фильтрации используется термин “RAW”) данных перехвата. Теперь все объекты, которые попадают в кэш и из-за своих объёмов выгружаются на диск, анализируются отдельной очередью с целью экономии памяти.

[+]Обновлены детекторы: blogger.com, CV (hh.ru, job-mo.ru, job.ru, rabota.ru, rabota.mail.ru, superjob.ru), facebook.com (добавлено 210 новых url), google.com, hotmail.com, livejournal.com, linkedin.com, mail.ru, mamba.ru, my.mail.ru, moikrug.ru, myspace.com, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (megafon, mts, skylink, tele2), taba.ru, twitter.com, vkontakte.ru, ukr.net, wordpress.com, yahoo.com, yandex.ru.

Консоль управления:

[-]Исправлены ошибки при конфигурировании запуска, остановки, перезапуска служб EtherSensor.

[-]Исправлена ошибка отображения счётчиков детектирования TCP соединений.

[-]Исправлена ошибка отображения журналов.

2012-08-22 Версия 4.2.2.6219

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека захвата трафика Packet Sniffer SDK. Повышена производительность реконструкции TCP соединений, значительно уменьшен объём потребления памяти;

[+]Добавлена возможность комментировать отдельные правила фильтрации пакетов.

Анализ перехваченных объектов:

[+]Добавлена проверка доступности физической памяти. Если доступной физической памяти оказывается меньше 50Мб, кэш с результатами перехвата постепенно записывается на диск.

[-]Исправлена ошибка распаковки больших архивов, приводившая к большому расходу памяти (ошибка распаковки GZIP данных в HTTP-запросах).

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка формата сообщений об исключительных ситуациях.

Консоль управления:

[-]Исправлены ошибки конфигурирования запуска, остановки, перезапуска служб EtherSensor.

2012-08-14 Версия 4.2.1.6196

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека захвата трафика Packet Sniffer SDK: повышена производительность реконструкции TCP соединений;

[*]Ускорен парсинг протоколов. Теперь для каждого прослушиваемого сетевого адаптера распознанные TCP сессии анализируются несколькими потоками одновременно (количество потоков равно количеству ядер CPU * 2);

[*]Обновлён алгоритм парсинга XMPP-протокола;

[-]Исправлена ошибка, приводившая к исключительной ситуации во время обработки SSL соединений;

[-]Исправлена ошибка в распаковке LZ1 вложений Lotus Notes;

[-]Исправлена ошибка обработки PCAP-файлов, в которых размер пакета превышал 1514 байт;

[-]Исправлена ошибка генерации BPF-фильтра.

Анализ перехваченных объектов:

[*]Ускорена инициализация дисковых квот во время загрузки службы EtherSensor Analyser;

[*]Увеличен в 4 раза канал передачи реконструированных объектов между службой EtherSensor EtherCAP и службой EtherSensor Analyser.
Внимание!
Это увеличивает пропускную способность и скорость детектирования и анализа сообщений, однако, выросли аппаратные требования для EtherSensor: оперативной памяти требуется 1 Гбайт. Следует учитывать данное требование при развёртывании EtherSensor на виртуальных машинах.

[+]Добавлена обработка схемы (GET/PUT/POST) ftp://xxx.xx.xx/, что позволяет обрабатывать/перехватывать файлы, отправляемые/получаемые посредством FTP OVER HTTP;

[+]Обновлены детекторы: CV (hh.ru, job-mo.ru, job.ru, rabota.ru, job50.ru, jobsmarket.ru, rabota.mail.ru, rosrabota.ru, superjob.ru), facebook.com, hotmail.com, linkedin.com, livejournal.com, livejournal.ru, loveplanet.ru, mail.ru, my.mail.ru, mamba.ru, meebo.com, moikrug.ru, myspace.com, odnoklassniki.ru, phpbb, pochta.ru, rambler.ru, smsmms, twitter.com, vkontakte.ru, yahoo.com, yandex.ru.

[+]Выполнена обязательная очистка директории временных файлов \data\temp во время загрузки EtherSensor;

[-]Исправлена ошибка в MIME парсере. Неправильно искались boundary, состоящие из символов ‘-‘;

[-]Исправлена ошибка разархивирования данных в HTTP-запросах/ответах.

Доставка результатов анализа системам-потребителям:

[+]В транспортные профили FTP и FileDrop добавлена опция save-zip, которая позволяет архивировать объекты в формате ZIP.

Журналирование:

[+]Добавлен функционал отслеживания работоспособности службы EtherSensor LotusTXN.

Консоль управления:

[+]Добавлена функция управления службой извлечения сообщений из Lotus Notes Transaction Log (EtherSensor LotusTXN).

[+]Добавлена возможность сохранения в диагностический отчёт файлов лицензий и версий Microolap EtherSensor.

[+]Добавлено отображение счётчиков производительности службы EtherSensor LotusTXN;

[+]Добавлено отображение счётчиков протокола YAHOO;

[-]Исправлена ошибка, приводившая к утечке памяти.

[-]Исправлены ошибки конфигурирования запуска, остановки и перезапуска служб EtherSensor;

2012-06-20 Версия 4.2.0.6046

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлен парсинг протокола YAHOO.

Служба EtherSensor LotusTXN

[+]Начало ораниченного тестирования службы извлечения сообщений из Lotus Notes transaction Log – EtherSensor LotusTXN. Служба позволяет отслеживать и извлекать сообщения из Lotus Notes transaction Log и передавать для дальнейшего анализа в службу детектирования и анализа сообщений EtherSensor Analyser.
Внимание!
Служба до конца не протестирована для работы с “линейным” стилем ведения транзакций Lotus Notes transaction Log.

2012-04-19 Версия 4.1.5.5923

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека перехвата трафика Packet Sniffer SDK. Повышена производительность реконструкции TCP соединений.

2012-04-16 Версия 4.1.4.5917

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека перехвата трафика Packet Sniffer SDK. Повышена производительность реконструкции TCP соединений;

[-]Исправлена ошибка перехвата проксируемых соединений, использующих HTTP метод CONNECT. Некорректно обрабатывались соединения, когда прокси-сервер требовал аутентификацию.

Служба EtherSensor ICAP:

[-]Исправлена ошибка распаковки сжатых (GZIP) запросов.

Анализ перехваченных объектов:

[*]Обновлён протокол взаимодействия с агентом EtherSensor;

[*]Обновлена конфигурация службы анализа (настройки взаимодействия с агентами EtherSensor);

[*]Изменён алгоритм детектирования Email адресов в Web сообщениях;

[+]Обновлены детекторы: CV (hh.ru, job-mo.ru, rabota.mail.ru, zarplata.ru), google.com (добавлена поддержка Web GTalk), facebook.com, myspace.com, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms, ukr.net, vbulletinboard, vkontakte.ru, yandex.ru.

Журналирование:

[-]Исправлена ошибка архивирования журналов.

Консоль управления:

[*]Обновлено отображение счётчиков обработки Web-сообщений.

2012-03-27 Версия 4.1.3.5862

[-]Инсталлятор предыдущей сборки содержал некорректную версию agent.server.dll.

2012-03-26 Версия 4.1.2.5859

Источники данных и реконструкция объектов

Служба EtherSensor ICAP:

[-]Исправлена ошибка в обработке HTTP-запросов в режиме непрозрачного проксирования. В некоторых случаях это приводило к тому, что не обрабатывались запросы, содержащие аттачменты.

Анализ перехваченных объектов:

Консоль управления:

[*]Обновлён функционал настройки службы анализа: включение/отключение сервера агентов EtherSensor. По умолчанию сервер агентов выключен.

[-]Исправлена ошибка отображения счётчиков ICAP сервера в конфигураторе (монитор производительности).

2012-03-19 Версия 4.1.1.9899

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[-]Исправлена ошибка обработки сообщений Lotus Notes. В некоторых случаях некорректно обрабатывались строки сообщений и метаданных.

Служба EtherSensor ICAP:

[+]Добавлен режим “синхронной работы ICAP-протокола”. В этом режиме сервер ICAP-сервер сначала получает от ICAP-клиента запрос целиком, и только потом отправляет ответ, даже в случае передачи больших запросов (скачивание/передача ISO-образов, или других больших файлов). Когда синхронный режим выключен – ICAP-сервер работает в потоковом режиме.

Это означает, что сервер не ждёт, пока клиент передаст ему весь запрос, а сразу же, как только может, начинает передавать ему ответ. Таким образом получается, что с точки зрения пользователя не происходит задержки в передаче файла. Это особенно актуально, когда через ICAP проходит мультимедийный трафик (например, потоковое видео).

Пользователь теперь не ждёт сначала полной загрузки видео потока на ICAP-прокси, потом на ICAP-сервер, потом получения его от ICAP-сервера обратно, и только после этого отправки его c ICAP-прокси пользователю. Необходимость включения синхронного режима связана с особенностью работы некоторых ICAP-клиентов, ориентированных в основном на работу по протоколу ICAP с антивирусами: антивирусам, как правило, необходимо сначала полное получение объекта (какого бы размера он ни был), и лишь потом они могут принять решение, какой именно ответ отдавать ICAP-клиенту.

Анализ перехваченных объектов:

[+]Встроен UDP-сервер для обработки сообщений агентов EtherSensor. Если на рабочих станциях в сети организации установлены и работают агенты EtherSensor, то они могут доставлять на сенсор информацию о соединениях, которые создают пользователи сети.

Далее при обработке перехваченных сообщений служба EtherSensor Analyser использует полученную информацию для идентификации пользователя, тем самым точно маркируя сообщения атрибутами владельца сообщения, добавляя заголовки вида:
X-Sensor-UID: 0e515c8c-61eb-11e1-a529-000c29ff0707
X-Sensor-UID-UserName: CN=Administrator,CN=Users,DC=bigbrother,DC=foo
X-Sensor-UID-ComputerName: WS325-LOCK.bigbrother.foo

[+]Встроен механизм работы с новой лицензией. Начиная с версии 4.1 Microolap EtherSensor поддерживает лицензии с подпиской на обновления;

Журналирование:

[*]Повышена производительность архивирования журналов EtherSensor, сокращен размер требуемого дискового пространства;

[+]Добавлено сохранение статистики обработки сообщений Lotus Notes;

[+]Встроен механизм работы с новой лицензией. Начиная с версии 4.1 Microolap EtherSensor поддерживает лицензии с подпиской на обновление.

Консоль управления:

[*]Обновлён функционал конфигурирования службы EtherSensor ICAP;

[*]Обновлён функционал конфигурирования службы EtherSensor Analyser.

2012-01-25 Версия 4.0.14.9561

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Встроен алгоритм для расчёта тайм-аута соединения с учётом текущего количества отслеживаемых соединений;

[+]Добавлен механизм переподключения сетевого адаптера, если во время работы службы EtherSensor EtherCAP адаптер был отключен, и потом заново включен (например, с помощью консоли управления Windows).

Анализ перехваченных объектов:

[*]Изменён алгоритм разбора email адресов;

[*]Ускорена загрузка детекторов;

[+]Встроена распаковка вложений, сжатых алгоритмом LZH (IBM Lotus Notes);

[+]Добавлены счётчики, показывающие количество сообщений, удалённых блоком лицензии;

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job-mo.ru, job50.ru, rabota.mail.ru, rabota.ru, rosrabota.ru, zarplata.ru), facebook.com, hotmail.com, linkedin.com, livejournal.com, mail.ru, mamba.ru, my.mail.ru, rambler.ru, pochta.ru, smsmms (beeline.ru, mts.ru, skylink.ru), vkontakte.ru.

[-]Исправлена ошибка в обработке сообщений Lotus Notes;

Консоль управления:

[+]Добавлен валидатор фильтров HTTP-объектов и фильтров сообщений. Теперь фильтр можно проверить на наличие в нём ошибок.

[+]Добавлен функционал загрузки и выгрузки отдельных журналов;

[+]Добавлен функционал отображения содержимого журнала (в режиме Plain Text);

[+]Поиск внутри журнала (в режиме Plain Text);

[+]Перемещение на заданную строку (в режиме Plain Text).

[+]Встроено отображение статистики сообщений Lotus Notes;

[+]Добавлены счётчики, показывающие количество сообщений, удалённых блоком лицензии.

[-]Исправлена ошибка диагностики при загрузке и отображении журналов;

2011-12-23 Версия 4.0.13.9421

Анализ перехваченных объектов:

[*]Изменён алгоритм обработки больших HTTP-запросов. Теперь HTTP-фильтр обрабатывает большие запросы, не загружая их в память. Ранее это могло приводить к перерасходу памяти. Данное изменение тесно связано с применением подобного фильтра:

<?xml version=”1.0″ encoding=”utf-8″?>
<filter name=”HTTP filter” version=”1.0″>
<table name=”main”>

<rule enabled=”1″>
<comment>
The rule stops processing HTTP objects whose
request or response size is greater than 100 megabytes.
</comment>
<match>
<c name=”size” op=”gt” value=”100M”/>
</match>
<action name=”drop” />
</rule>

<rule enabled=”true”>
<action name=”accept” />
</rule>

</table>
</filter>

[+]Обновлены детекторы: yandex.ru.

2011-12-19 Версия 4.0.12.9403

Анализ перехваченных объектов:

[+]В письмах Lotus Notes добавлена возможность распаковки больших вложений, сжатых алгоритмом LZ1.

2011-12-19 Версия 4.0.11.9393

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Повышена производительность обработки протокола MRA;

[*]Повышена производительность обработки протокола MSN;

[*]Повышена производительность сохранения проблемного трафика в PCAP-файлы.

Служба EtherSensor ICAP:

[-]Исправлена ошибка обработки заголовка IsTag.

Доставка результатов анализа системам-потребителям:

[*]Изменён алгоритм работы с заблокированными транспортными профилями.

Журналирование:

[*]Изменены имена директорий, в которых накапливается статистика работы EtherSensor.

Консоль управления:

[*]Добавлено явное указание кодировки в HTML файлах консоли конфигуратора:

[-]Исправлены ошибки в работе утилиты perfmon;

[-]Исправлена ошибка в утилите bugreport, приводившие к зависанию утилиты.

2011-11-29 Версия 4.0.10.9285

Анализ перехваченных объектов:

[+]Обновлены детекторы: facebook.com, mail.ru, pochta.ru, rambler.ru, smsmms (mts.ru), yandex.ru (добавлено распознавание входящих и исходящих сообщений WEB агента), CV (rabota.ru).

Консоль управления:

[-]Исправлены ошибки в работе утилиты perfmon.

2011-11-25 Версия 4.0.9.9249

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[-]Исправлена ошибка процесса остановки службы, в некоторых случаях приводившая к зависанию;

[-]Исправлена ошибка распознавания MSN-протокола.

Анализ перехваченных объектов:

[+]Обновлены детекторы: mail.ru (добавлено распознавание входящих и исходящих сообщений WEB-агента MRA), my.mail.ru, odnoklassniki.ru, vkontakte.ru, CV (job-mo.ru).

[-]Исправлена ошибка обработки MSN-протокола;

Доставка результатов анализа системам-потребителям:

[+]В журнал добавлена запись информации об использованном транспортном профиле при отправке сообщения.

Журналирование:

[-]Исправлена ошибка процесса загрузки службы EtherSensor Transfer, в некоторых случаях приводившая к зависанию.

Консоль управления:

[*]Изменён интерфейс утилиты bugreport.

[-]Исправлены ошибки в утилите bugreport.

2011-11-23 Версия 4.0.8.9215

Анализ перехваченных объектов:

[-]Исправлена ошибка декодирования заголовков X-Sensor-Ldap…

Доставка результатов анализа системам-потребителям:

[*]Расширен формат записи журнала.

Журналирование:

[*]Расширен формат записи журнала.

Консоль управления:

[*]Изменён интерфейс утилиты bugreport.

[-]Исправлены ошибки в утилите bugreport.

2011-11-18 Версия 4.0.7.9171

Анализ перехваченных объектов:

[*]Обновлены детекторы: blogger.com, facebook.com, hotmail.com, linkedin.com, mail.ru, my.mail.ru, meebo.com, myspace.com, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms (megafon, mts, skylink), twitter.com, vkontakte.ru, yahoo.com, CV (careerist.ru, hh.ru, job-mo.ru, job50.ru, rabota.mail.ru, rabotavgorode.ru, rabotavia.ru, rosrabota.ru).

[-]Исправлены ошибки, приводившие к падению службы EtherSensor Analyser при обработке результатов перехвата;

Доставка результатов анализа системам-потребителям:

[*]Расширен формат записи журнала.

Журналирование:

[*]Расширен формат записи журнала.

Консоль управления:

[*]Теперь утилита bugreport собирает все текущие сообщения журнала (раньше собирала только criterror, error, warning).

2011-11-10 Версия 4.0.6.9037

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека Packet Sniffer SDK, отвечающая за захват трафика. Исправлены ошибки реконструкции TCP соединений.

Анализ перехваченных объектов:

[-]Исправлены ошибки, приводившие в исключительно редких ситуациях к падению службы EtherSensor Transfer при обработке результатов перехвата.

Доставка результатов анализа системам-потребителям:

[*]Изменена структура счётчиков службы EtherSensor Transfer и алгоритм их обновлений.

2011-09-29 Версия 4.0.5.8903

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Обновлена библиотека Packet Sniffer SDK, отвечающая за захват трафика. В дистрибутиве версии Microolap EtherSensor 4.0.4.8875 64-битные драйвера оказались не подписаны цифровой подписью, поэтому на vista/win7/win2008 (x64) захват трафика отсутствовал. Эта ошибка не проявлялась на большинстве инсталляций (win2003 x64).

Анализ перехваченных объектов:

[+]Добавлено декодирование кодировки LMBCS (Lotus Multibyte Character Set). Поддерживаются следующие кодировки: latin-1, greek, hebrew, arabic, cyrillic, latin-2, turkish, thai, unicode-16. Теперь полностью декодируются адреса, тема, тело, имена аттачментов и все другие заголовки.

2011-09-22 Версия 4.0.4.8875

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлен функционал для распознавания и реконструкции сессий Lotus Notes.

Анализ перехваченных объектов:

[+]Добавлен детектор сообщений Lotus Notes.

2011-09-15 Версия 4.0.3.8813

Анализ перехваченных объектов:

[+]Обновлены детекторы: CV (rabotavgorode.ru, rosrabota.ru, careerist.ru, hh.ru, job-mo.ru, rabota.mail.ru, rabotamedikam.ru, zarplata.ru), facebook.com, my.mail.ru, mail.ru, smsmms (megafon, mts, skylink), yahoo.com (входящая почта).

Журналирование:

[-]Исправлена ошибка, приводившая к утечке памяти.

2011-08-18 Версия 4.0.2.8709

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[+]Добавлена статистическая обработка протокола SSL: происходит накопление статистики SSL соединений, формируются результаты со списками SSL соединений. Данная возможность может быть отключена в конфигурации (файл ethcap.xml) следующим образом:

[-]Исправлена ошибка, приводившая в некоторых случаях к возникновению исключительных событий во время запуска службы;

Анализ перехваченных объектов:

[+]Обновлены детекторы: odnoklassniki.ru, pochta.ru, rambler.ru, smsmms, twitter.com, vkontakte.ru, yahoo.com, yandex.ru.

[+]Теперь все сообщения, дошедшие до стадии отправки потребителю, помечаются заголовком X-Sensor-RawSource-Type. Сделано это для того, чтобы потребитель (например, система архивирования сообщений) мог разобрать, из каких первоначальных “сырых” перехваченных данных было получено конечное сообщение. Значениями этого заголовка на сегодняшний день могут быть:
HttpGetRequest: Источник сообщения – HTTP GET REQUEST;
HttpPostRequest: Источник сообщения – HTTP POST REQUEST;
HttpPutRequest: Источник сообщения – HTTP PUT REQUEST;
FtpFile: Источник сообщения – FTP файл;
SmtpEml: Источник сообщения – SMTP EML;
Pop3Eml: Источник сообщения – POP3 EML;
IcqContactList: Источник сообщения – ICQ Contact List;
IcqMessageList: Источник сообщения – ICQ Message List;
IcqFile: Источник сообщения – ICQ File;
IcqLoginInfo: Источник сообщения – ICQ Login Info;
MraUserInfo: Источник сообщения – MRA информация о пользователе;
MraContactList: Источник сообщения – MRA Contact List;
MraMessageList: Источник сообщения – MRA Message List;
MraFile: Источник сообщения – MRA File;
MsnContactList: Источник сообщения – MSN Contact List;
MsnMessageList: Источник сообщения – MSN Message List;
MsnFile: Источник сообщения – MSN File;
XmppContactList: Источник сообщения – XMPP Contact List;
XmppMessageList: Источник сообщения – XMPP Message List;
XmppFile: Источник сообщения – XMPP File;
IrcMessageList: Источник сообщения – IRC Message List;
IrcFile: Источник сообщения – IRC File;
SkypeVersionRequest: Источник данных – Get Last version запрос к ui.skype.com;
SslSessionsList: Источник данных – Список SSL сессий.

Внимание:
Необходимо иметь в виду, что некоторые почтовые системы используют механизм POST запросов для чтения входящей почты. В этом случае результат перехвата такого сообщения будет иметь заголовок X-Sensor-RawSource-Type: HttpPostRequest.

[*]Теперь все сообщения, дошедшие до стадии транспортировки, помечаются заголовком X-Sensor-LicOption. Значениями этого заголовка могут быть:
WebMail;
WebSocial;
Email;
IM;
FT;
WebMailRead.

[*]Изменено формирование From и To для сообщений WebMail, WebSocial, WebCV;

[+]Добавлена проверка и удаление пустых тел для сообщений WebMail, WebSocial, WebCV;

[+]Формируются результаты со списками SSL соединений.

Доставка результатов анализа системам-потребителям:

[*]Оптимизация расхода памяти при транспортировке сообщений.

Консоль управления:

[*]Изменён пользовательский интерфейс консоли управления;

[*]Выполнена интеграция со справочной системой EtherSensor.

[+]Добавлено отображение статистики HTTP-фильтра.

2011-07-15 Версия 4.0.1.8529

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Производительность обработки трафика увеличена. За счёт экономии ресурсов EtherSensor и среды выполнения стало возможным реализовать поддержку перехвата входящего HTTP трафика.

Анализ перехваченных объектов:

[*]Гарантированная обработка всех доступных как из Ethernet, так и по ICAP запросов HTTP типа GET. Это означает: если раньше был доступен анализ только тех сообщений, которые отправляются с рабочих станций через веб интерфейс, то теперь – и все получаемые сообщения могут анализироваться тоже.

[*]Контроль логинов/паролей и скачанных файлов – всё то полезное, чем сервер может ответить на запрос GET.

[+]Добавлен функционал предварительной фильтрация HTTP для отсечения заведомого мусора. Помогает снизить нагрузку на подсистему анализа. Может также использоваться и в отладочных целях.

Журналирование:

[+]Поддержка в сообщениях EtherSensor, посылаемых в файл журнала или на syslog-сервера кодировок по выбору – ликвидировано ещё одно препятствие к использованию привычных анализаторов логов.

Консоль управления:

[*]Полностью переписан конфигуратор: теперь это обычное Windows приложение (файл mconsole.exe из поставки) вместо MMC консоли, использовавшейся ранее.

[+]Накопление статистики работы EtherSensor для интеграции с внешними системами мониторинга.

2011-06-07 Версия 3.0.29.8081

Консоль управления:

[-]Исправлена ошибка в утилите bugreport, которая приводила к некорректному построению отчёта.

2011-06-06 Версия 3.0.28.8059

Анализ перехваченных объектов:

[+]Для 3.х сделан усовершенствованный метод детектирования ID из Referer для vkontakte.ru.

[-]Исправлена ошибка при формировании сообщений в WebMail (детектор !generic);

[-]Исправлена ошибка при формировании сообщений в IM (детекторы IRC и XMPP).

[-]Исправлены ошибки при фильтрации адресов сообщений;

[-]Исправлена ошибка создания заголовка сообщения. Вместо X-Sensor-Smtp-From создавался заголовок X-Sensor-Smtp-Helo.

Консоль управления:

[-]Исправлена ошибка отображения бессрочных лицензий;

[-]Исправлены ошибки чтения файла лицензии из консоли управления.

2011-04-29 Версия 3.0.27.7583

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Устранены наиболее вероятные места исключительных ситуаций для протоколов ftp, icq, irc, msn, mra, smtp.

Анализ перехваченных объектов:

[+]Обновлены детекторы сервисов: mail.ru, moikrug.ru.

[-]Исправлена ошибка, иногда приводившая к зависанию службы EtherSensor Analyser при запуске.

Консоль управления:

[*]Старая версия подсистемы конфигурирования/управления, основанная на MMC, заменена на приложение WinForm.

2011-03-14 Версия 3.0.25.6931

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Повышена надёжность обработки данных парсерами протоколов. Устранены наиболее вероятные места исключительных ситуаций для протоколов ftp, icq, irc, msn, mra, smtp;

[*]Изменена логика обработки исключительных ситуаций во время реконструкции TCP сессий.

Анализ перехваченных объектов:

[+]Обновлены детекторы служб: CV (careerist.ru, superjob.ru, zarplata.ru), livejournal.com, facebook.com, mail.ru, myspace.com, odnoklassniki.ru, vkontakte.ru, yandex.ru.

[-]Исправлена ошибка кэширования реконструированных “сырых” объектов. Ошибка приводила к остановке обработки результатов перехвата;

[-]Исправлена ошибка обработки результатов фильтра реконструированных объектов, приводившая к исключительной ситуации;

[-]Исправлена ошибка получения DNS имён по IP-адресу;

[-]Исправлена ошибка распознавания EML адресов;

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка формирования адресов в EML конверте (from, to, cc, bcc), в протоколе SMTP во время передачи данных внешним потребителям.

Журналирование:

[*]Сокращёны ресурсы, потребляемые процессами, участвующими в ведении статистики EtherSensor.

2011-02-10 Версия 3.0.24.6617

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[-]Исправлена ошибка обработки HTTP-сессий, возникавшая в случае превышения размеров строк заголовков 4Кб.

Анализ перехваченных объектов:

[+]Добавлена совместимость с последней версией скрипта, определяющего имя и хост пользователя в трафике HTTP.

[-]Исправлена ошибка разбора имён заголовков EML-конвертов по RFC-5322;

Журналирование:

[*]Сокращено потребление ресурсов службой EtherSensor Watcher.

2011-01-28 Версия 3.0.21.6411

Анализ перехваченных объектов:

[*]Изменена конфигурация до версии 3.1., добавлен блок управления параметрами для детектирования в сообщениях WebMail полей KPPSU, KPPSH (eSafeUser, eSafeHost).

[+]Обновлены детекторы: CV (careerist.ru, jobsmarket.ru, rabota.mail.ru, rabota.ru, superjob.ru), facebook.com, mail.ru, myspace.com, odnoklassniki.ru, vkontakte.ru.

Журналирование:

[-]Исправлена ошибка нарушения XML-формата при сохранении данных статистики;

[-]Исправлена ошибка: в файлах top.hostname.XXX.xml параметр DumpTime не обновлялся по мере накопления информации.

2010-12-29 Версия 3.0.20.6277

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Повышена достоверность распознавания протокола XMPP/Jabber.

Анализ перехваченных объектов:

[*]Ускорена обработка сообщений (детектирование, фильтрация). Теперь одновременно могут детектироваться и фильтроваться N перехваченных объектов. N рассчитывается по формуле N = количество ядер CPU*2;

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job-mo.ru, rabota.mail.ru, rabota.by, rabotavia.ru, superjob.ru, zarplata.ru), facebook.com, livejournal.com, mail.ru, mail.ru-social, mamba.ru, moikrug.ru, myspace.com, odnoklassniki.ru, pochta.ru, vkontakte.ru, yandex.ru.

Журналирование:

[*]Теперь служба EtherSensor Watcher ведёт статистику обработки данных и накапливает информацию в директории [INSTALLDIR]\data\statistics. Накопленная информация ротируется раз в 2 месяца. Статистика на каждый день накапливается в отдельной папке внутри директории [INSTALLDIR]\data\statistics. Каждый час формируется отдельный набор файлов:

top.clients.XXX.xml:
Отображает количество соединений, созданных клиентом и общий размер данных, переданных во всех сессиях, созданных этим клиентом.

top.detectors.XXX.xml:
Отображает количество детектированных сообщений.

top.hostname.XXX.xml:
Отображает количество HTTP соединений в течение часа.

Консоль управления:

[*]Утилита bugreport теперь может открывать отчёты напрямую из ZIP архивов;

[*]Появилась возможность создавать и обнаруживать уже имеющиеся MINIDump файлы служб EtherSensor;

[*]Появилась возможность обнаруживать PCAP файлы с пакетами, перехват которых привёл к исключительной ситуации в обработке данных.

2010-12-02 Версия 3.0.19.6031

Анализ перехваченных объектов:

[-]Исправлена ошибка в фильтре сообщений – проверка состояния check-md5.

Консоль управления:

[-]Исправлена ошибка, происходившая во время создания отчёта утилитой bugreport.

2010-10-25 Версия 3.0.18.6027

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Повышена достоверность распознавания протокола MRA(MRIM). Вышла новая версия протокола, поддерживаемая новыми клиентами;

[+]Добавлен механизм определения “ЗАВИСШЕГО” состояния службы EtherSensor EtherCAP и выхода из этого состояния. “ЗАВИСШИМ” состоянием считается состояние, в котором служба по причине внутренних ошибок или по причине атаки прекратила перехват трафика. Пакеты, в процессе обработки которых служба перешла в “ЗАВИСШЕЕ” состояние, сохраняются в PCAP файл в директорию \log\pcaps.

[-]Исправлена ошибка в парсере протокола MRA(MRIM), приводившая к зависанию службы EtherSensor EtherCAP;

Служба EtherSensor ICAP:

[*]Буфер для сбора строк увеличен до 32К, (в соответствии со стандартом был 8К, но бывало, нам присылали строки размером 9,5К);

[*]Не проходили HTTP команды длиннее 7 символов – теперь длина увеличена до 32 символов.

[*]Также есть изменения в конфигурации службы:

<?xml version=”1.0″ encoding=”utf-8″?>
<IcapConfig version=”3.0″>
<SensorId>icap-01</SensorId>
<Network max_connections=”4000″>
<ListenAddress address=”0.0.0.0:1344″ />
</Network>
<Icap>
<Preview enabled=”false” size=”4096″ />
<Allow204 enabled=”true” />
<RawLog enabled=”false” path=”.\raw-log” />
<RequestLog enabled=”false”
http_enabled=”true”
channel=”ICAP-REQUEST” />
<AlwaysOk enabled=”true” />
<Header name=”X-Client-IP” enabled=”true” />
<Header name=”X-Server-IP” enabled=”false” />
</Icap>
</IcapConfig>

Введены новые теги:
AlwaysOk
Тег AlwaysOk является вложенным в тег Icap и включает режим “всё всегда хорошо”. В этом режиме сервер ICAP при обнаружении каких либо ошибок в ICAP-протоколе со стороны клиента отвечает ему не соответствующим кодом ошибки, а кодом 204 “No modifications”.

Атрибут enabled тега AlwaysOk указывает, включен режим “всё всегда хорошо” или нет:

enabled=”true” – режим включен;
enabled=”false” – режим отключен.

Если тег AlwaysOk отсутствует, то по умолчанию принимается, что данный режим отключен.
Если режим включен, то код ответа 204 посылается на ошибки, даже если Allow204 это запрещает.
Включать этот режим стоит только в крайних случаях, когда Вы совершенно точно знаете, что именно делаете, так как в редких случаях это может приводить к непредсказуемым сбоям в работе ICAP-клиента, поставляющего трафик.

RequestLog
Тег RequestLog является вложенным в тег Icap и определяет параметры режима журналирования ошибок протоколов ICAP и HTTP-запросов, обрабатываемых ICAP-сервером. В этот журнал сохраняются ошибки, которые могут возникать при взаимодействии ICAP-клиента и сервера, относящиеся к неправильным форматам данных, отправляемых ICAP-клиентом, некорректному использованию протокола ICAP и т.п.

Атрибут enabled тега RequestLog указывает, включен режим журналирования ошибок протоколов ICAP и HTTP или нет:
enabled=”true” – режим журналирования включен;
enabled=”false” – режим журналирования отключен.

Атрибут http_enabled тега RequestLog указывает, включен режим журналирования HTTP-запросов или нет:
http_enabled=”true” – режим журналирования HTTP-запросов включен;
http_enabled=”false” – режим журналирования HTTP-запросов отключен.
По умолчанию (если атрибут отсутствует), подразумевается что http_enabled=”true”.

Атрибут channel тега RequestLog указывает внутреннее системное имя для канала журналирования HTTP-запросов. Значение данного параметра всегда должно быть channel=”ICAP-REQUEST” и должно меняться только при прямом указании разработчика Microolap EtherSensor.

Header
Тег Header управляет расширенными заголовками ICAP-протокола. Тег позволяет уведомлять ICAP-клиента о том, поддерживает ли сервер указанный заголовок. Тем самым становится возможным разрешать или запрещать отправку со стороны ICAP-клиента соответствующего заголовка на сервер.

Атрибут enabled тега Header указывает, включена ли поддержка указанного заголовка:
enabled=”true” – поддержка заголовка включена;
enabled=”false” – поддержка заголовка отключена.
Если тег отсутствует, то по умолчанию подразумевается, что данный заголовок поддерживается.

Атрибут name тега Header указывает имя расширенного заголовка.
Поддерживаемые имена расширенных ICAP-заголовков:
X-Client-IP;
X-Server-IP;
X-Client-Username;
X-Subscriber-ID;
X-Authenticated-User;
X-Authenticated-Groups.

По умолчанию (если теги Header не указаны в файле конфигурации) подразумевается, что все заголовки поддерживаются.

Анализ перехваченных объектов:

[*]Ускорена фильтрация сообщений;

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job.ru, job50.ru, jobsmarket.ru, rabota.mail.ru, rabotavgorode.ru, superjob.ru, zarplata.ru), facebook.com, livejournal.com, mail.ru, mail.ru-social, mamba.ru, moikrug.ru, meebo.com, myspace.com, odnoklassniki.ru, pochta.ru, smsmms (mts), twitter.com, vkontakte.ru, yandex.ru.

[-]Исправлена ошибка проверки на url-encoded;

[-]Исправлена ошибка при разборе MIME заголовка Content-type.

2010-10-01 Версия 3.0.17.5713

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]В библиотеке Packet Sniffer SDK повышена производительность реконструкции TCP соединений.

[-]Исправлена ошибка при создании больших IP-фильтров;

Анализ перехваченных объектов:

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job-mo.ru, job.ru, jobsmarket.ru, rabota.ru, superjob.ru, zarplata.ru, добавлены службы job50.ru, rabotavgorode.ru, rabota.mail.ru), moikrug.ru, facebook.com, livejournal.com, loveplanet.ru, mail.ru, mail.ru-social, mamba.ru, meebo.com, myspace.com, odnoklassniki.ru, rambler.ru, smsmms, taba.ru, twitter.com, vkontakte.ru, yandex.ru.

Консоль управления:

[+]Добавлен функционал, аккумулирующий значения и расшифровку счётчиков EtherSensor в виде отчёта.

[+]Первый релиз утилиты bugreport, позволяющей собрать информацию о работе EtherSensor и службы автоматического обновления EtherSensor Updater и отправить разработчику Microolap EtherSensor для анализа.

2010-09-14 Версия 3.0.16.5573

Анализ перехваченных объектов:

[*]Изменена логика генерации имени реконструированного объекта. Теперь если Content-Type был image/* и имя файла неизвестно, то будет генерироваться имя unknown.<subtype>. То есть, для image/jpeg будет unknown.jpeg, для image/gif будет unknown.gif, и т.д.

[+]Обновлены детекторы: CV (careerist.ru, funkyjob.ru, hh.ru, job-mo.ru, job.ru, jobsmarket.ru, rabota.ru, superjob.ru, zarplata.ru), hotmail.com, moikrug.ru, facebook.com, linkedin.com, livejournal.com, mail.ru, mail.ru-social, mamba.ru, myspace.com, odnoklassniki.ru, rambler.ru, smsmms, twitter.com, vkontakte.ru, yandex.ru.

[-]Исправлена ошибка формирования конверта для MSN сообщений и контакт-листов.

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка неправильного кодирования темы письма и других заголовков.

Консоль управления:

[-]Исправлена логическая ошибка установки и чтения значений дисковых квот.

2010-08-27 Версия 3.0.13.5377

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[-]Исправлена ошибка создания анализаторов протоколов, приводившая к падению службы EtherSensor EtherCAP.

Анализ перехваченных объектов:

[+]Добавлена раскодировка письма согласно Content-Transfer-Encoding в случае если письмо содержит только аттачмент и письмо не кодировано как MIME.

[+]Обновлены детекторы: CV (zarplata.ru), moikrug.ru, facebook.com, mail.ru, mail.ru-social, mamba.ru, odnoklassniki.ru, rambler.ru, twitter.com, vkontakte.ru, yandex.ru.

[-]Исправлена ошибка в действии DNSBL в правилах фильтрации.

[-]Исправлена ошибка, проявлявшаяся при обработке некорректных писем без тела.

[-]Исправлена ошибка в парсере EML: были проблемы с раскодированием MIME с применением транспортного кодирования, отличного от binary.

Доставка результатов анализа системам-потребителям:

[+]Реализован пул транспортных потоков. Теперь результаты анализа системе-потребителю отправляет не 1 поток, а от 1 до 10, в зависимости от объёма данных реконструированных объектов. Это существенно ускоряет работу службы EtherSensor Transfer.

2010-07-26 Версия 3.0.12.5119

Анализ перехваченных объектов:

[+]Обновлены детекторы: CV (careerist.ru, hh.ru, job-mo.ru, job.ru, rabota.ru, superjob.ru, zarplata.ru), moikrug.ru, facebook.com, loveplanet.ru, mail.ru, mail.ru-social, mamba.ru, meebo.com, odnoklassniki.ru, twitter.com, vkontakte.ru, yandex.ru.

[-]Исправлена ошибка в условии правил фильтрации для проверки дублей сообщений по MD5.

2010-07-19 Версия 3.0.11.4969

Анализ перехваченных объектов:

[+]Добавлено условие правил фильтрации для проверки дублей сообщений по MD5.

[+]Обновлены детекторы: chanboard, CV (hh.ru, job-mo.ru, job.ru, rabota.ru, superjob.ru, zarplata.ru), moikrug.ru, myspace.com, my.mail.ru, facebook.com, taba.ru, twitter.com.

[-]Исправлена ошибка определения заголовков X-Sensor-Ldap-Hostname, X-Sensor-Ldap-User.

2010-07-26 Версия 2.0.17.4175

Анализ перехваченных объектов:

[+]Обновлены детекторы: facebook.com, loveplanet.ru, mail.ru, mail.ru-social, mamba.ru, odnoklassniki.ru, vkontakte.ru, yandex.ru.

Консоль управления:

[-]В MMC-консоли управления исправлена ошибка, приводившая к исключительной ситуации при редактировании правил транспортировки результатов перехвата.

2010-07-23 Версия 2.0.16.4170

Анализ перехваченных объектов:

[+]Обновлены детекторы: accounts, facebook.com, loveplanet.ru, mail.ru, mail.ru-social, mamba.ru, meebo.com, myspace.com, odnoklassniki.ru, pochta.ru, twitter.com, vkontakte.ru, yandex.ru.

Доставка результатов анализа системам-потребителям:

[+]Реализован пул транспортных потоков. Теперь, в отличие от предыдущей версии, результаты перехвата потребителю отправляет не 1 поток, а от 1 до 10, в зависимости от объёма данных реконструированных объектов. Это существенно ускоряет работу службы EtherSensor Transfer.

2010-07-09 Версия 2.0.15.4019

Анализ перехваченных объектов:

[+]Сделано формирование заголовков в EML конверте X-Sensor-Ldap-Hostname и X-Sensor-Ldap-User, если в поле запроса User-Agent присутствуют поля eSafeHost и eSafeUser.

[+]Обновлены детекторы: accounts, blogger.com, facebook.com, fileupload, !generic, linkedin.com, livejornal.com, loveplanet.ru, mail.ru, mamba.ru, meebo.com, myspace.com, odnoklassniki.ru, plaxo.com, pochta.ru, smsmms, twitter.com, vkontakte.ru, yandex.ru.

[+]Добавлены детекторы: moimir.mail.ru.

2010-05-18 Версия 2.0.14.3656

Анализ перехваченных объектов:

[+]Реализована генерация из данных, поставляемых ICAP-сервером, следующих заголовков для EML-конвертов:
X-Sensor-Icap-Client-Username;
X-Sensor-Icap-Subscriber-Id;
X-Sensor-Icap-Authenticated-User;
X-Sensor-Icap-Authenticated-Group.

2010-05-06 Версия 2.0.13.3595

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка обработки EML-конвертов в SMTP-клиенте транспортной службы.

2010-04-30 Версия 2.0.12.3570

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка в обработке команды BDAT в SMTP клиенте транспортной службы.

2010-04-28 Версия 2.0.11.3551

Анализ перехваченных объектов:

[+]Добавлена обработка бинарных писем (Exchange 2010). Теперь все бинарные письма приходят как аттачменты.

[+]Обновлены детекторы: facebook.com, linkedin.com, livejournal.com, loveplanet.ru, mamba.ru, myspace.com, odnoklassniki.ru, twitter.com, vkontakte.ru, yandex.ru.

2010-03-09 Версия 2.0.11.2767

Источники данных и реконструкция объектов

Служба EtherSensor ICAP:

[*]Приведение в соответствие с обновлённым draft-stecher-icap-subid-00.txt.
Теперь если ICAP-клиент посылает заголовки X-Subscriber-ID, X-Authenticated-User, X-Authenticated-Groups, то они сохраняются как свойства файла данных в паспорте: icap-x-subscriber-id, icap-x-authenticated-user, icap-x-authenticated-group соответственно.
В случае если заголовок X-Authenticated-Groups содержит несколько групп, то каждая сохраняется как отдельное свойство icap-x-authenticated-group, содержащее одну группу.

[+]Добавлены новые отладочные счётчики:
\ICAP\Request\POST
Количество POST, которые прошли через ICAP в REQMOD;

\ICAP\Request\PUT
Количество PUT, которые прошли через ICAP в REQMOD;

\ICAP\Request\Open
Количество файлов, которые открывались для сохранения POST/PUT в REQMOD;

\ICAP\Request\Open-active
Количество файлов, которые открыты сейчас для сохранения POST/PUT в REQMOD;

\ICAP\Request\Closed-and-save
Количество файлов, которые закрыли со статусом “сохранить в кэше” (обязаны присутствовать в кэше);

\ICAP\Request\Closed-and-delete
Количество файлов, которые закрыли со статусом “удалить из кэша” (были какие-то ошибки).

[+]Для raw-log сделана фильтрация в REQMOD. Запросы на Host: icap.health.check приводят к тому, что raw-log файлы для этой TCP сессии удаляются. Фильтр пока hard-coded.

[+]Теперь, если ICAP-клиент посылает заголовок X-Client-Username, то он сохраняется как свойство файла данных в паспорте icap-x-client-username. Заголовок может посылаться сервером SQUID, если на нём настроена авторизация пользователя. Настройка icap_send_client_username on|off в файле squid.conf. Возможно, другие клиенты также посылают этот заголовок, но это наверняка пока не известно.

2010-01-28 Версия 2.0.10.2766

Анализ перехваченных объектов:

[-]Исправлена ошибка в SMTP парсере, которая появилась с выходом 2.0.9.2741 в результате внесённых изменений для захвата трафика Exchange-сервера.

2010-01-26 Версия 2.0.9.2741

Анализ перехваченных объектов:

[+]Обновлены детекторы: chanboard, facebook.com, hotmail.com, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, meebo.com, myspace.com, nextmail.ru, odnoklassniki.ru, plaxo.com, pochta.ru, rambler.ru, smsmms, twitter.com, vkontakte.ru, yahoo.com, yandex.ru.

[+]Добавлены детекторы: Детектор accounts: детектирует события регистрации пользователей на удалённых Web сервисах. Собирает помимо логинов и паролей дополнительную информацию, которую пользователь отправляет во время регистрации (адреса, email, имена, телефоны, ники, описания…и т.д.) Детектор даёт возможность понять, какие ресурсы посещают пользователи сети на уровне перехваченных событий аутентификации для этих ресурсов.

2009-09-03 Версия 2.0.5.2500

Анализ перехваченных объектов:

[+]Обновлены детекторы: facebook.com, hotmail.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, meebo.com, myspace.com, nextmail.ru, odnoklassniki.ru, pochta.ru, rambler.ru, smsmms, twitter.com, vbulletin, vkontakte.ru, yandex.ru, icq.

[-]Исправлены ошибки в парсере HTTP-протокола;

[-]Исправлены ошибки в парсере MRA-протокола;

2009-08-03 Версия 2.0.4.2360

Анализ перехваченных объектов:

[+]Обновлены детекторы: chanboard, facebook.com, hotmail.com, linkedin.com, livejournal.com, loveplanet.ru, mail.ru, mamba.ru, meebo.com, myspace.com, nextmail.ru, odnoklassniki.ru, rambler.ru, smsmms, twitter.com, ukr.net, vkontakte.ru, wordpress.com, yandex.ru.

[+]Добавлены детекторы: gazup.com, ifolder.ru.

2009-05-31 Версия 2.0.0.2300

Анализ перехваченных объектов:

[+]Новые детекторы:
facebook.com
события регистрации нового участника социальной сети;
события изменения профиля участника социальной сети;
сообщения передаваемые участниками социальной сети;
события отправки (загрузки) файлов участниками социальной сети;

linkedin.com
события регистрации нового участника социальной сети;
события изменения профиля участника социальной сети;
сообщения передаваемые участниками социальной сети;
события отправки (загрузки) файлов участниками социальной сети;

meebo.com
сообщения, передаваемые пользователями meebo.com

myspace.com
события регистрации нового участника социальной сети;
события изменения профиля участника социальной сети;
сообщения передаваемые участниками социальной сети;
события отправки (загрузки) файлов участниками социальной сети;

plaxo.com
события регистрации нового участника социальной сети;
события изменения профиля участника социальной сети;
сообщения передаваемые участниками социальной сети;
события отправки (загрузки) файлов участниками социальной сети;

twitter.com
события регистрации нового участника социальной сети;
события изменения профиля участника социальной сети;
сообщения передаваемые участниками социальной сети;
события отправки (загрузки) файлов участниками социальной сети;

wordpress.com
сообщения, размещаемые пользователями

mail.ru
распознавание мгновенных онлайн сообщений, передаваемых между пользователями mail.ru посредством MRA.

2009-02-26 Версия 1.0.8

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Повышена производительность реконструкции TCP-сессий в библиотеке Packet Sniffer SDK.

Анализ перехваченных объектов:

[*]Добавлена обработка новых сообщений в WebMail и WebSocial;

[+]Добавлены детектирование и реконструкция объектов ICQ, MRA (пока только контакт-листы и текстовые сообщения).

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка отправки сообщений потребителю по SMTP в клиенте EtherSensor.

Журналирование:

[+]Добавлено отображение статистики отправки результатов потребителям по модулям (файл !transtat.log).

2008-10-29 Версия 1.0.7.7

Источники данных и реконструкция объектов

[+]Добавлена 32-битная версия Microolap EtherSensor.

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка, которая приводила к дублированию писем у потребителя и к отображению некорректных счётчиков в файлах журналов.

2008-10-27 Версия 1.0.7

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Библиотека захвата трафика Packet Sniffer SDK версии 5.0. Эта версия обеспечивает прирост производительности захвата трафика и реконструкции соединений в 8 – 10 раз по сравнению с предыдущей версией 4.x.

Анализ перехваченных объектов:

[*]Повышена производительность модулей, обрабатывающих объекты сервисов odnoklassniki.ru, vkontakte.ru.

[+]Добавлены домены odnoklassniki.ru: odnoklassniki.ru, odnoklasniki.ru, odnoklassniki.ua, odnoklassniki.kz.

[+]Добавлены модули, обеспечивающие реконструкцию HTTP-объектов сервисов loveplanet.ru, mamba.ru, livejournal.com.

Домены loveplanet.ru:
1ovep1anet.ru, alovely.ru, datelove.ru, dating.wmj.ru, flirt.me-to-you.info, flirt2008.ru, loveplanet-vip.ru, lovemir.com, love.efremov.net, love.livedate.ru, love-planet.ru, 1oveplanet.ru, loveplanet.ru, loveplanet-vip.ru, lovemoskva.ru, lov1.ru, loveopen.ru, lovedrom.ru, lovepeace.ru, mos-love.ru, planet.sbrn.ru, dating-loveplanet.ru, dating-znakomstva.ru, lovo.ru;

Домены mamba.ru:
4love.ru, date.datinglove.ru, dating.freetime.com.ua, explore.ru, flirtru.ru, flirt77.ru, fastlove.ru, facelink.ru, greatlove.ru, holiday.ru, iloveyou.ru, jdu.ru, jzzz.info, lovemy.com.ua, love.alfa-beta.ru, love.azlyrics.ru, love.butt-head.ru, love.girlzzz.info, love.lovz.ru, love.mail.ru, love.rambler.ru, love-kiss-dating.ru, love.neolove.ru, love.pautinka.ru, love.primochka.ru, love.gay.ru, love.ignio.com, love.lesbi.ru, love.russianchat.ru, lov.ru, lovedate.ru, mamba.ru, mambo.ru, mheart.ru, romantica.ru, search.all4love.ru, svidanka.ru, vstret.ru, znakomstva.lt, znakomstva.lv, znakomstva.odnoklassniki.ru, younglover.ru, lovedosug.ru, lubovy.ru;

Домены livejournal.com:
livejournal.com, livejournal.ru.

Журналирование:

[+]Расширен набор счётчиков, отображающих показатели производительности EtherSensor. Счётчики отображаются в режиме реального времени в файлах журналов !capstat.log, !sysstat.log, !transtat.log.

[+]Расширен формат записи журнала SMTP транспорта, отправляющего результаты анализа системе-потребителю.

Консоль управления:

[+]Добавлен модуль crashreport.dll, формирующий отчёт об исключительной ситуации в случае падения любой службы EtherSensor. Формирует отчёт об исключительной ситуации в директории log\crashrpt. Отчёт об исключительной ситуации представляется в виде двух файлов: 1) минидампа приложения 2) отчёт о среде выполнения.

[+]Инсталлятор EtherSensor прописывает автозапуск службам в случае падения или исключительной ситуации.

[-]Исправлена ошибка долгого старта служб EtherSensor после перезапуска операционной системы.

2008-07-28 Версия 1.0.5

Анализ перехваченных объектов:

[+]Добавлен подсчёт MD5 Hash реконструированных объектов для идентификации дубликатов перехвата.

[+]Обновлены детекторы: mail.ru, rambler.ru, yandex.ru, pochta.ru, google.com, yahoo.com, ukr.net, odnoklassniki.ru, vkontakte.ru, squirrel-mail, file-upload, hotmail.com, nextmail.ru, newmail.ru, phpBB.

Доставка результатов анализа системам-потребителям:

[+]Добавлен заголовок X-Sensor-Object-MD5Hash в сообщения, отправляемые потребителю по SMTP.

[-]Исправлена логическая ошибка при отправке сообщений потребителю по SMTP.

2008-07-28 Версия 1.0.4

Анализ перехваченных объектов:

[+]Добавлены детекторы: newmail.ru, phpBB.

Консоль управления:

[+]Добавлена возможность изменять настройки журналирования.

2008-07-25 Версия 1.0.2

Анализ перехваченных объектов:

[+]Добавлены детекторы: hotmail.com, nextmail.ru.

Доставка результатов анализа системам-потребителям:

[-]Исправлена ошибка с заголовком “Sesnsor-Id”.

2008-07-16 Версия 1.0.1

Источники данных и реконструкция объектов

Служба EtherSensor EtherCAP:

[*]Оптимизация расхода памяти при перехвате трафика.

Доставка результатов анализа системам-потребителям:

[+]Добавлены следующие заголовки при формировании EML для отправки потребителю по SMTP:
MailFrom/RcpTo;
Via/X-Forwarded;
Date;
Network-If-Id (теперь можно точно определить, с какого именно сетевого интерфейса был получен реконструированный объект);

[+]Заголовок, содержащий размер перехваченного объекта.

Журналирование:

[+]Добавлено архивирование журналов для экономии дискового пространства.

Консоль управления:

[+]Реализована MMC консоль конфигуратора.