Mikrotik подсчет трафика. Mikrotik - Анализ трафика - NetFlow Analyzer

Своим мини обзором хочу рассказать об одном программном продукте, который очень хорошо помогает при анализе трафика. Да, продукт коммерческий, но по моему он того стоит.
Имя ему ManageEngine NetFlow Analyzer .

Это web приложение, написанное на Java, в качестве http сервера выступает Apache, для хранения данных используется MySQL.
Используя NetFlow Analyzer возможно собственноручно конструировать функциональные «приборные панели», пригодные для мониторинга наиболее важных участков сетевой инфраструктуры. Каждая такая панель создается с учетом специфической роли отдельного администратора и может состоять из многочисленных элементов (виджетов), отвечающих за извлечение информации из различных источников.
Благодаря наглядности приборных панелей NetFlow Analyzer можно с первого взгляда оценить сложившуюся ситуацию, получить представление о текущей нагрузке на различные участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».
Приблизительно так:)
Начнем с самого начала, т.е. установки и начальной настройки.


Установка NetFlow Analyzer.
Скачиваем под интересующую нас платформу (Windows, Linux), в нашем случае это Windows.
Запускаем.

Все компоненты ставятся в одну папку, по этому при желании можно выбрать любую.

Так же при установки запрашиваются порты, по которым будут работать сервисы. Порт web интерфейса и порт, на который будут приходить NetFlow пакеты.

Указываем, что бы запускалось как служба.

Указываем регистрационные данные

По завершению установки запускается браузер, которые попадает на страницу авторизации, по умолчанию пользователь admin, пароль admin.

Настройка микротика.
Тут все готово, теперь идем в консоль управления микротиком и направляем поток с данными на наш сервер.

Ну или все тоже самое, только из консоли:


/ip traffic-flow set enabled=yes
/ip traffic-flow target add address=192.168.1.78:9996 version=9


Первой командой активируем сервис, второй указываем принимающую точку, порт и версию протокола.

Начальная настройка NetFlow Analyzer.
Теперь войдем в NetFlow Analyzer и посмотрим что же у нас получилось.
Первое, куда попадаем, это список интерфейсов, за которыми ведется наблюдение, в данном примере интерфейсы с именами IfIndex* это входящие соединения по vpn, интерфейсы comgate* и vcraft* это провайдеры, local это интерфейс локальной сети.

Если что то не получилось, то имеет смысл проверить соответствие портов, по которым анализатор слушает и порт, который указали в микротике.
Перейдем в раздел Admin Operations, Product Settings.

Server Settings - Настройки сервера.
NetFlow / sFlow Listener Port - порт, на который принимаются потоки с устройств.
WebServer Port - порт веб интерфейса.
Count Of Top Records to Store - максимальное количество строк, выводимое в таблицах с данными.


DNS Settings - Настройки определения dns имен.
Resolve only when "Resolve DNS" link is clicked - По умолчанию выбрано, Определять имена по клику на "Resolve DNS".
Resolve DNS names automatically by default- Определять имена автоматически (замедляется работа)
Resolved DNS count in cache - Размер DNS кэша.
User defined DNS names - Здаесь можно задать статические dns записи.

Наверное вторым местом, куда стоит заглянуть в настройках, это настройки для отправки почты.

Нажмем на Test Mail.


DashBoard.
Как говорилось в самом начале интересной фишкой является DashBoard, который существует в некотором начальном состоянии.

Но администратор может сделать панель с виджетами "под себя". На пример сделать что то вроде этого (не надо сильно вникать в смысл:-) я просто вытащил максимально возможные виджеты)

Туда - сюда или кто куда ходит и что качает.
Вернемся на вкладку интерфейсов и посмотрим статистику по одному конкретному.

Вкладка Application выводит информацию по типу трафика.

Клик по конкретной строчке и мы получаем детальную информацию. На пример информацию по http трафику.

Можно сократить результаты вывода до (на пример) 10 и сделать преобразование ip в имена (помогает очень не всегда).

Так же можно запросить детальный график каждого соединения.

Во вкладке Source получаем отчет по источникам трафика, и так же выбрав конкретный элемент получаем детализацию по нему.

Группы адресов.
Иногда интересно рассматривать трафик нескольких пользователей одновременно, на пример серверов, выполняющих одну и туже роль.
В разделе Admin Operations есть подраздел IP Grouups, где можно объединить несколько адресов в группу, создать группу из целых подсетей и т.д.

Для ленивых - отчеты по почте.
Наверное самая приятная вещь, которая мне понравилась, это возможность формировать отчеты и получать из по почте, не надо было каждое утро лезть в этот интерфейс и заказывать их, они просто приходили с утренней почтой.
Заходим в раздел Admin Operations, в подраздел Schedule Reports.

В результате утром придет письмо, приблизительно такого содержания.

Где будет лежать по pdf-у на каждый интерфейс приблизительно такого содержания.

Заключение.
За сим буду прощаться, тот кто что то искал, тот, я думаю нашел, и если начнет копаться все глубже, то познает тайную магию Alert-ов, которые буду тебя извещать о проблемах в сети, а кому то пригодятся мелочи в раздели Billing.
Напоследок скажу, что на сайте производителя Вы найдете бесплатную версию этого продукта, бесплатность там странная, 30 дней работает без ограничений, потом работает только с двумя интерфейсами, для простых конфигураций, где один локальный, а другой провайдер этого решения должно хватить.

Разберем утилиты для troubleshooting в сетях MikroTik, такие как torch, ip scan, romon, bandwidth test и другие.

В данной статье мы поговорим о том, что использовать для troubleshooting в сети на оборудовании MikroTik. Речь пойдет о следующих инструментах:

  • Torch
  • Ip scan
  • Sniffir
  • Cable test
  • RoMON
  • Bandwidth Test
  • Traffic Monitor

Наверняка многими из них вы уже пользовались, но я попытаюсь рассказать интересные вещи, которые может смогут вам помочь в работе. Во всяком случае мы, в нашей практике ИТ-аутсорсинга , используем их регулярно

Torch

Этот инструмент используется для мониторинга трафика в реальном времени, как всего трафика, так и через конкретный интерфейс.

Доступен в winbox, cli, webfug. Находится /tool torch.

Также кроме стандартного расположения torch можно открыть через Simple Queue и в настройках интерфейса.

Хочу отметить что torch видит метки DSCP и VLAN ID.

Через CLI у torch есть некоторые дополнительные функции, например запустить его на определеное время командой duration и задать интервал обновления данных командой freeze-frame-interval.

IP SCAN

Следующий очень полезный инструмент, который я всегда использую в своей работе это ip scan.

Находится он /tool ip scan. При помощи его можно быстро просканировать сеть и примерно уяснить что в ней находится. Так же при помощи его можно сразу определить если у нас есть где-то за двоение ip адресов.

Если у микротика указаны DNS сервера по в соответствующем поле будет заполнены и имена. Так же удобно отображается в графе Time(ms) задержка. Так же он доступен и в CLI.

Sniffer

Sniffer – это инструмент, который может захватывать и анализировать пакеты, которые уходят или проходят через маршрутизатор. Находится он /tool sniffer, также от доступен и в CLI. Есть возможность сохранять dump в файл или отправлять на удалённый сервер (например в wireshark), а также просмотра в реальном времени.

На вкладке General

  • Memiry Limit – задается какое количество ОЗУ будет доступно снифиру для аботы
  • File Name – имя файла дампа
  • File Limit – максимальный размер файла дампа.
  • Галочки Only Headers – собирать только заголовки.
  • memory-scroll - нужно ли переписывать устаревшие данные, когда достигнут предел памяти.

На вкладки Streaming включаем собственно его и указываем сервер на который будет отправляется.

На вкладки Filter задаем параметры фильтрации. После старта можно нажать на кнопку «Packets» и посмотреть результаты.

Cable test

Еще один полезный инструмент в микротике называется cable test. Доступен он в настройках интерфейса, помогает определить расстояние до обрыва таковой есть и длину кабеля

В моем примере я откусил одну пару на расстояние примерно 50 см. Мерит он не идеально +- пару метров.

RoMON

RoMON – утилита для доступа к устройствам через MikroTik находящихся в одном l2 сегменте с пограничным устройством, к которому у нас есть прямой доступ. Находится в /tool RoMON, помогает при удаленном администрировании.

Этот инструмент удобно использовать, когда по каким-либо причинам нам не хочется для настройки новых устройств за роутером использовать CLI (Mac Telnet) а хочется все делать через winbox.

Для использования этой функции нужно ее активировать как на роутере, к которому у нас есть доступ так и на тех (через Mac Telnet) которые находятся за нашем устройством. Включается оно /tool RoMON.

BandwidthTest

  • Инструмент позволяющий оценить скорость соединения с удаленным сервером
  • Есть в winbox, cli, webfig
  • Есть клиент и сервер
  • Возможно, использовать в различных скриптах

Есть отдельная утилита под windows. Есть общедоступные сервера которыми можно пользоваться. https://forum.mikrotik.com/viewtopic.php?t=104266

Очень удобно мерить скорость этим инструментом. Стоить также предупредить что если у вас большая скорость подключения и не очень мощное устройство (smips) то при запуске теста можно загрузить CPU на 100% и на время потерять доступ к устройству.

TrafficMonitor

И последний инструмент о котором мы поговорим это Traffic Monitor. Он используется для выполнения консольных скриптов, когда трафик интерфейса пересекает заданный порог. Находится он /tool traffic-monitor.

Его можно сравнить у утилитой «Netwatch» которая по доступности или недоступности определённого хоста выполняет какие-либо действия. Пример одного из применений, можно настроить отправку на почту уведомления если канал будет загружен на 95 % в течении 5 минут, вариантов много и примеров в интернете тоже.

На этом на сегодня все.

NetFlow Analyzer это программа написанная на Java. В нем можно быстро создавать «комплексные панели», для мониторинга критических сегментов сети. В моем случае, потребовалось считать трафик с каждого порта на Mikrotik с возможностью его детализации за определенный срок (день/неделя/месяц). Dashboard настраивается под задачи определенного пользователя и может состоять из многочисленных виджетов, отвечающих за получение информации с разных устройств. Из-за простоты работы с NetFlow Analyzer можно быстро оценить сложившуюся ситуацию, получить представление о текущей нагрузке на критические участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».

С установкой данного продукта сложностей возникнуть не должно. Для теста была взята Windows 7 x64 и установлена JRE аналогичной битности. После успешной установки переходим по адресу: http://localhost:8080/netflow/jspui/dashBoard.do
По умолчанию используются эти порты:
web: 8080
NetFlow: 9996

SNMP Community: public
SNMP: 161

Теперь перейдем к настройке микротика:
Идете в IP -> TraficFlow и выставляете настройки как в примере изменяя адрес назначение на требуемый.

Галкой включаем Traffic flow
Interfaces — Имена тех интерфейсов, которые будут использоваться для сбора статистики трафика. Можно указать несколько
cache-entries (128k | 16k | 1k | 256k | 2k | … ; по умолчанию: 4k) — Количество потоков, которые могут одновременно находиться в памяти маршрутизатора.
active-flow-timeout (по умолчанию: 30 мин.) — Максимальный срок жизни потока.
inactive-flow-timeout (по умолчанию: 15 сек.) — Как долго поддерживать поток, если он неактивен. Если в этом тайм-ауте соединение не увидит пакет, то он будет помечен как новый. Если тайм-аут слишком мал, то возможно создание значительного количества потоков и переполнение буфера.

В окне Targets:
address (IP: порт) — IP адрес и порт (UDP) хоста, который получает статистические пакеты потока от маршрутизатора.
v9-template-refresh (по умолчанию: 20) — Количество пакетов, после которых шаблон отправляется на принимающий хост (только для NetFlow версии 9)
v9-template-timeout (по умолчанию: 1800) — Как долго отправлять шаблон, если он не был отправлен.
version (по умолчанию: 9) — Какую версию NetFlow использовать.

Для настройки из под терминала требуется выполнить следующие команды:

# Включаем traffic-flow /ip traffic-flow set enabled=yes # Проверяем /ip traffic-flow print enabled: yes interfaces: all cache-entries: 4k active-flow-timeout: 1m inactive-flow-timeout: 15s # Указываем IP-адрес и порт хоста, которые будут получать пакеты трафика потока /ip traffic-flow target add dst-address=10.10.1.3 port=9996 version=9

# Включаем traffic-flow

/ ip traffic -flow set enabled = yes

# Проверяем

/ ip traffic -flow print

enabled : yes

interfaces : all

cache -entries : 4k

active -flow -timeout : 1m

inactive -flow -timeout : 15s

# Указываем IP-адрес и порт хоста, которые будут получать пакеты трафика потока

/ ip traffic -flow target add dst -address = 10. 10. 1. 3port = 9996version = 9

Включаем SNMP:
IP -> SNMP

После повторного входа в меню NetFlow Analyzer должны увидеть примерно следующее:

Если порты на Mikrotik’е будут отображаться не правильно или не корректно, идем в Devices -> Set SNMP
В открывшимся окне выбираем требуемое устройство, проверяем что бы правильно было указано SNMP Community и порт. Далее Interface Name устанавливаем ifName и ставим галку на also retrieve the router name. После обновления все должно отображаться корректно.

Если вообще ничего не завелось, то надо проверить порты которые установлены на mikrotik и которые слушает коллектор.
Admin -> Server settings

NetFlow / sFlow Listener Port — порт, на который принимаются потоки с устройств.
WebServer Port — порт веб интерфейса.
Count Of Top Records to Store — максимальное количество строк, выводимое в таблицах с данными.

Если NetFlow Analyzer не видит ethernet портов соединенных в бридж, введите:

/interface bridge settings set use-ip-firewall yes

/ interface bridge settings set use -ip -firewall yes

На этом все. Надеюсь данный материал помог вам в настройке. Если остались вопросы, пишите в комментарии.

Всем привет! В сегодняшней статье расскажем о том, как настроить отправку статистики о пакетах, проходящих через наш роутер Mikrotik на коллектор для дальнейшего анализа. Все мы знаем про такой протокол как Netflow, предназначенный для учёта сетевого трафика, разработанный компанией Cisco, так вот у Mikrotik есть своя реализация данного решения, которая полностью совместима со стандартом Cisco Netflow - Mikrotik Traffic Flow .

Помимо мониторинга и анализа трафика, с помощью Traffic Flow, администратор может выявлять различные проблемы, которые могут появляться в сети, а также анализировать и оптимизировать общие сетевые характеристики.

Поскольку Traffic Flow полностью совместим с Cisco Netflow, то он может использоваться различными утилитами, которые разработаны для Netflow.

Traffic Flow поддерживает следующие версии Netflow:

  1. version 1 - Самая первая версия формата данных Netflow. Рекомендуется использовать только если нет альтернатив
  2. version 5 - Дополнение первой версии, которой появилась возможность добавления номеров автономных систем (AS) и порядковых номеров потоков
  3. version 9 - новая версия, позволяющая добавлять новые поля и типы записей благодаря шаблонному исполнению

Настройка

Итак, для того, чтобы начать собирать статистическую информацию о трафике, необходимо сначала включить Traffic Flow и определиться с каких интерфейсов осуществлять сбор. Делается это при помощи комбинации следующих команд:

/ip traffic-flow set enabled=yes interfaces=ether1

В нашем случае, указан лишь один интерфейс ether1, однако, если вы хотите собирать статистику с нескольких интерфейсов, просто укажите их через запятую. Если со всех - интерфейсов введите interfaces=all .

Вы также можете настроить количество потоков, которые могут одновременно находиться в памяти роутера командой cache-entries и указав нужное значение - (128k | 16k | 1k | 256k | 2k / 4k - по умолчанию)

Командой active-flow-timeout - можно настроить максимальное время жизни потока, по умолчанию это 30 минут.

Некоторые потоки, могут стать неактивными через какое-то время, то есть, в них не будет происходить обмен пакетами, этот тайм-аут настраивается командой inactive-flow-timeout . Если пакетов в потоке нет и данное время истекло, то в следующий раз traffic flow создаст новый поток, если обмен возобновится. По умолчанию это 15 секунд, но если сделать данное время слишком коротким, то это может привести к созданию большого количества отдельных поток и переполнению буфера.

После того как мы включили Traffic Flow и определились с интерфейсами, с которых хотим получать информацию о потоках, необходимо настроить хост назначения, который будет получать данную информацию (в терминологии Netflow такой хост называется коллектором). Делается это при помощи следующей команды

Ip traffic-flow target

Затем указывается IP адрес и UDP порт хоста назначения - add dst-address=(IP address) port=(UDP port) . Если вы хотите использовать конкретную версию протокола, то укажите ее командой version= (1,5,9)

Пример

Рассмотрим пример конфигурации Traffic Flow на роутере Mikrotik

Допустим мы хотим собирать статическую информацию о трафике, который проходит через интерфейс ether3 нашего роутера и отправлять её на коллектор по адресу 192.168.2.123 используя 5 версию протокола. В этом случае конфигурация может выглядеть следующим образом:

Сначала включаем Traffic Flow и указываем интерфейс

/ip traffic-flow set enabled=yes interfaces=ether3

Затем указываем адрес коллектора, стандартный порт и версию протокола 5:

/ip traffic-flow target add dst-address=192.168.2.123 port=2055 version=5

Если Вы предпочитаете консоли утилиту WinBox , то для настройки Traffic Flow левом меню откройте пункт IP и выберите Traffic Flow , перед Вами откроется следующее окно:

Необходимо включить Traffic Flow, поставив галочку напротив Enabled и выбрать желаемый интерфейс для сбора информации.

После этого переходим на вкладку Targets и добавляем параметры коллектора, достаточно внести IP адрес, порт и версию. После этого нажимаем на кнопку Apply


После этого наш роутер начнет отправлять информацию на коллектор. Если вы хотите указать несколько коллекторов, то это можно сделать, используя разные версии протокола и номера UDP портов.

Полезна ли Вам эта статья?

Пожалуйста, расскажите почему?

Нам жаль, что статья не была полезна для вас:(Пожалуйста, если не затруднит, укажите по какой причине? Мы будем очень благодарны за подробный ответ. Спасибо, что помогаете нам стать лучше!

MiktoTik - Прошлые статьи часть 1 - MikroTik - Что это за зверь такой? часть 2 - MikroTik - Установка часть 3 - MikroTik - Начальная настройка часть 4 - MikroTik - Списки и группы адресов часть 5 - MiktoTik - Два провайдера - балансировка нагрузки часть 6 - MiktoTik - Два провайдера - распределение по каналам часть 7 - MikroTik - Winbox & Console часть 8 - MikroTik - Bandwidth / Простое ограничение часть 9 - Mikrotik - Bandwidth- Индивидуальные правила

Своим мини обзором хочу рассказать об одном программном продукте, который очень хорошо помогает при анализе трафика. Да, продукт коммерческий, но по моему он того стоит.


Используя NetFlow Analyzer возможно собственноручно конструировать функциональные «приборные панели», пригодные для мониторинга наиболее важных участков сетевой инфраструктуры. Каждая такая панель создается с учетом специфической роли отдельного администратора и может состоять из многочисленных элементов (виджетов), отвечающих за извлечение информации из различных источников.

Благодаря наглядности приборных панелей NetFlow Analyzer можно с первого взгляда оценить сложившуюся ситуацию, получить представление о текущей нагрузке на различные участки сети и изучить показатели производительности, не тратя времени на поиски и просмотр разрозненных отчетов. В комплект поставки NetFlow Analyzer включено более полусотни «виджетов».

Приблизительно так:)

Начнем с самого начала, т.е. установки и начальной настройки.

Установка NetFlow Analyzer.

Запускаем.


Все компоненты ставятся в одну папку, по этому при желании можно выбрать любую.


Так же при установки запрашиваются порты, по которым будут работать сервисы. Порт web интерфейса и порт, на который будут приходить NetFlow пакеты.


Указываем, что бы запускалось как служба.

Указываем регистрационные данные


По завершению установки запускается браузер, которые попадает на страницу авторизации, по умолчанию пользователь admin, пароль admin.

Настройка микротика.

Ну или все тоже самое, только из консоли:

/ip traffic-flow set enabled=yes

/ip traffic-flow target add address=192.168.1.78:9996 version=9

Первой командой активируем сервис, второй указываем принимающую точку, порт и версию протокола.

Начальная настройка NetFlow Analyzer.

Теперь войдем в NetFlow Analyzer и посмотрим что же у нас получилось.

Первое, куда попадаем, это список интерфейсов, за которыми ведется наблюдение, в данном примере интерфейсы с именами IfIndex* это входящие соединения по vpn, интерфейсы comgate* и vcraft* это провайдеры, local это интерфейс локальной сети.


Если что то не получилось, то имеет смысл проверить соответствие портов, по которым анализатор слушает и порт, который указали в микротике.

Перейдем в раздел Admin Operations, Product Settings.


Server Settings - Настройки сервера.

NetFlow / sFlow Listener Port - порт, на который принимаются потоки с устройств.

WebServer Port - порт веб интерфейса.

Count Of Top Records to Store - максимальное количество строк, выводимое в таблицах с данными.

DNS Settings - Настройки определения dns имен.

Resolve only when "Resolve DNS" link is clicked - По умолчанию выбрано, Определять имена по клику на "Resolve DNS".

Resolve DNS names automatically by default- Определять имена автоматически (замедляется работа)

Resolved DNS count in cache - Размер DNS кэша.

User defined DNS names - Здаесь можно задать статические dns записи.

Наверное вторым местом, куда стоит заглянуть в настройках, это настройки для отправки почты.

Нажмем на Test Mail.

DashBoard.

Как говорилось в самом начале интересной фишкой является DashBoard, который существует в некотором начальном состоянии.

Но администратор может сделать панель с виджетами "под себя". На пример сделать что то вроде этого (не надо сильно вникать в смысл:-) я просто вытащил максимально возможные виджеты)

Туда - сюда или кто куда ходит и что качает.

Вернемся на вкладку интерфейсов и посмотрим статистику по одному конкретному.

Вкладка Application выводит информацию по типу трафика.

Клик по конкретной строчке и мы получаем детальную информацию. На пример информацию по http трафику.

Можно сократить результаты вывода до (на пример) 10 и сделать преобразование ip в имена (помогает очень не всегда).

Так же можно запросить детальный график каждого соединения.

Во вкладке Source получаем отчет по источникам трафика, и так же выбрав конкретный элемент получаем детализацию по нему.