Схема предоставления услуги: Роутер клиента(D-link) – DGS-1100/me – DGS-3120-24SC История началась 3 января 2022г. Ни с того, ни с сего легло управление на коммутаторе DGS-1100-10/me. В праздники дела, до этого никому нет. Клиенты не жалуются и ладненько. В первые рабочие дни нового года, пошли массовые звонки в службу ТП. Звонили абоненты этого сегмента, подключенные к коммутаторам DES-3552, жаловались на падение скорости. Коммутаторы отвечали со значительным превышением отклика, но отвечали, safe guard не отрабатывал. При отключении части портов (любых, порядка 10 шт.), коммутаторы оживали. Уже были планы по замене этих коммутаторов, решили, что время настало. Коммутаторы поменяли, у клиентов все нормализовалось.
Где-то к 13 января, линейная бригада таки поехала, сняла старый DGS-1100-10/me, поставила новый. В тех. отделе, мониторинг начал истошно орать о том, что недоступны агрегаторы (DGS-3120) этого сегмента, лаги по пингу и загрузка CPU 90%. Тем временем, линейная бригада, добралась до рабочего места и выполнила конфигурацию коммутатора. Конфигурация выполняется скриптом по нажатию кнопки в CRM. После чего, коммутатор DGS-1100-10/me перестал отвечать, а агрегаторам стало несколько полегче, они стали отвечать на пинг запросы системы мониторинга а загрузка CPU снизилась (до уровня 70 до 80%). По мониторингу определили, что в норме загрузка CPU на коммутаторах DGS-3120 составляет 40%, и выроста она как раз 3 января. Cтало понятно, что мусор летит с коммутатора DGS-1100-10/me, и коммутаторы DES-3552, можно было не менять.
Средств посмотреть, что загрузило процессор на коммутаторах D-link нет. В логах пусто. Статистика по интерфейсу показала, наличие потока multicast трафика. Трафик составлял, 150 пакетов в секунду (по счетчику коммутатора). Мы не используем multicast трафик в сети, поэтому было принято решение, вырезать его фильтрами. Но как выяснилось, сделать это невозможно. Пробовали использовать traffic control, все снупинги мультикаста, acl, ничего не получилось, трафик не режется. Поехали, искать порт клиента. Нашли клиента, заснифили трафик. Клиентом оказался, человек с которым общение невозможно (считайте, что он заместитель прокурора, у него все как-то работает, и дела до наших проблем ему нет). Посмотрели трафик, им оказался поток порядка 3,5 килопакетов состоящий из DHCP запросов ipv6 адреса. Пакет, генерировал роутер D-link принадлежащий клиенту. Все попытки вырезать трафик средствами DGS-1100-10/me, так же не привели к хоть какому-нибудь результату.
Создалось впечатление, что этот трафик заруливается на CPU до, того как срабатывают acl и остальные средства фильтрации. По сети у нас, порядка 150 DGS-1100-10/me коммутаторов. На всех мы используем прошивку V1.01.B102. Нашли на форуме прошивку V1.01.B108 и зашили. И это частично помогло. Сам конечный коммутатор DGS-1100-10/me, работает. На коммутаторах сегмента нагрузка на CPU снизилась до 60-70%. На коммутаторе DGS-3120, в статистике интерфейса поток multicast трафика снизился с 150 до 50 (frame/sec). Не очень понятно, как он считает, если снифер за минуту захватил порядка 3,5к пакетов.
Проблема может стать значительной, если таких устройств в сегменте будет несколько. Будет сложно определить источник проблемы и изолировать его. Может кто-то сталкивался с подобной проблемой? Возможно у кого-то есть информация о том, как обрабатываются пакеты DHCP ipv6 коммутатором?
|