faq обучение настройка
Текущее время: Чт мар 28, 2024 15:21

Часовой пояс: UTC + 3 часа




Начать новую тему Ответить на тему  [ Сообщений: 37 ]  На страницу 1, 2, 3  След.
Автор Сообщение
 Заголовок сообщения: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Вс мар 13, 2016 06:07 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Здравствуйте!

Устраивайтесь поудобнее, сейчас я Вам сказки рассказывать буду.

Есть вот такой вот коммутатор:

Код:
csw4_DGS-3612G:oper#sh sw
Command: show switch

Device Type       : DGS-3612G Gigabit Ethernet Switch
MAC Address       : 00-1E-58-CE-16-00
IP Address        : 0.0.0.0 (Manual)
VLAN Name         : default
Subnet Mask       : 0.0.0.0
Default Gateway     : 0.0.0.0
Boot PROM Version : Build 1.10-B09
Firmware Version  : Build 3.00.B40
Hardware Version  : A1


К портам 1-7,9-12 которого подключены коммутаторы доступа в конфигурациях "кольцо" и "звёзда". Соответственно настроен STP.
В восьмой же порт данной железки подключена оптика стороннего провайдера по которой прокинут вилан в котором поднят ospf, ospfv3, pim. Т. е. этот порт является аплинком.

Долгое время всё работало нормально и ничто не предвещало беды, но аккурат в пятницу вечером около 23:00 по Москве коммутаторы доступа подключённые к этому csw начали хаотически падать и подниматься. Дежурный саппорт сначала запаниковал, но видя что пользователи не звонят с жалобами немного успокоился и принялся анализировать происходящее. Однако поняв своё бессилие перед Хаосом, пал он ниц и воззвал с мольбой о помощи к силам высшего порядка. Повествовал он следующее:

Цитата:
Никаких аномалий на данный момент выявить не удалось, сообщений об
изменении топологии не обнаружено (за исключением тех, которые я сам же
и спровоцировал), просмотр netlogs также не принес результата (нет
сообщений о перестроении, нет падений линков между sw), просмотрены три
кольца на предмет роста ошибок на гигабитных линках. итог: рост не
наблюдается, также как и закономерность в падениях.


Вняв мольбе и пробудившись от сладостной дрёмы админы первейшим предположением причины возникшего беспорядка положили давно известный баг у L3 коммутаторов D-Link связанный с пропаданием arp записей на коммутаторе. И действительно все симптомы указывали именно на это. Ситуация один в один повторяла описанную в viewtopic.php?f=2&t=169887#p936517 за исключением другой модели коммутатора. Однако продолжая анализировать ситуацию выяснилась интереснейшая история.
На этом коммутаторе есть пользовательский вилан в котором созданы 2 ipif, v10.12.102 primary с ip 10.12.102.1/24 и ipif v164.65 secondary с ip x.x.164.65/28 соответственно. Таже заведён отдельный вилан управления на все коммутаторы доступа с ipif внутри него v172.16.4 и ip подсетью 172.16.4.1/24 (arp записи из которой и пропадают).
Так вот, если прекратить анонсировать ipif v164.65 в ospf то проблема исчезает. Полностью.
Коммутаторы доступа перестают падать, загрузка CPU возвращается в норму. Включаем анонс - проблема возвращается.
Вот такая вот сказочка. Если кто-то что-то имеет сказать - пишите.
Сам я к сожалению ухожу в отпуск, но мои коллеги будут отслеживать эту тему.

Присказка: прошло часов 12 и коммутаторы доступа падать перестали, но загрузка CPU возросла раза в три.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн мар 14, 2016 12:26 
Не в сети

Зарегистрирован: Пт дек 19, 2008 14:23
Сообщений: 366
http://dlink.ru/ru/products/1/649_d.html

Для 3.00.B41 не оно ?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 12:46 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Аккурат в день моего выхода из отпуска, т.е. сегодня проблема повторилась.
В процессе анализа выяснилось что проблема возникает когда пользователь, который что-то качает из интернета, внезапно отключается от коммутатора доступа, а поток (в нашем случае UDP пакеты со скоростью примерно 8 мегабит в секунду) продолжает поступать на DGS-3612G. Если заблокировать эти пакеты "выше" (например на шлюзе, отключив пользователю интернет), то проблема исчезает.

Что делать?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 13:08 
Не в сети

Зарегистрирован: Чт сен 08, 2011 04:59
Сообщений: 1630
Откуда: Алтайский край, Барнаул
Вы залили последний софт???


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 13:20 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Alexey Mishenko писал(а):
Вы залили последний софт???

Нет, только вышел на работу. Залью в ближайшие ночные работы.
Считаете что должно помочь?

Какую прошивку рекомендуете:
1. DGS3600_3.00.B42.had
2. DGS36xxRun_3.03-B04.had


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 13:30 
Не в сети

Зарегистрирован: Чт сен 08, 2011 04:59
Сообщений: 1630
Откуда: Алтайский край, Барнаул
3.03 лейте, я на него обновился. Полёт нормальный.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 13:42 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Понял, отпишусь тут по результату, но точных сроков не назову.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 15:12 
Не в сети
Сотрудник D-LINK
Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan
bionic писал(а):
Аккурат в день моего выхода из отпуска, т.е. сегодня проблема повторилась.
В процессе анализа выяснилось что проблема возникает когда пользователь, который что-то качает из интернета, внезапно отключается от коммутатора доступа, а поток (в нашем случае UDP пакеты со скоростью примерно 8 мегабит в секунду) продолжает поступать на DGS-3612G. Если заблокировать эти пакеты "выше" (например на шлюзе, отключив пользователю интернет), то проблема исчезает.

Что делать?


При этом для подобного клиента есть MAC-адрес в FDB свитча и ARP запись на DGS-3612G? Какое количество ARP записей у Вас в общем на коммутаторе?
Какая загрузка CPU в момент наличия проблемы?


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пн апр 11, 2016 17:28 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Denis Evgraphov писал(а):
При этом для подобного клиента есть MAC-адрес в FDB свитча и ARP запись на DGS-3612G?

Не знаю, сейчас проблемы нет. Подозреваю что эти записи удаляются по тайм-ауту, arp 5 минут, fdb 300 секунд, и, после этого, начинаются проблемы.
Denis Evgraphov писал(а):
Какое количество ARP записей у Вас в общем на коммутаторе?

Вложение:
arp_and_fdb.png
arp_and_fdb.png [ 16.47 KiB | Просмотров: 6105 ]

Denis Evgraphov писал(а):
Какая загрузка CPU в момент наличия проблемы?

Вложение:
cpu_usage.png
cpu_usage.png [ 12.63 KiB | Просмотров: 6105 ]


Проблемы начались около 8:00, около 12:00 интернет для пользователя был выключен (выше на шлюзе зарезали трафик из интернета на коммутатор), на графиках это хорошо видно.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Вт апр 12, 2016 10:11 
Не в сети
Сотрудник D-LINK
Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan
ARP Aging Time не стоит уменьшать. Его стоит оставить равным 20 минутам.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Ср апр 13, 2016 17:07 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Denis Evgraphov писал(а):
ARP Aging Time не стоит уменьшать. Его стоит оставить равным 20 минутам.

ARP Aging Time выставил в 20 минут. Прошивку обновил до 3.03.B04. Проблема осталась.
Научились моделировать её самостоятельно. Для этого необходимо отправить поток пакетов (UDP, ICMP) на L3 коммутатор с ip адресом назначения отсутствующем в arp таблице L3 коммутатора. После этого начинают пропадать записи из arp таблицы L3 коммутатора, причём mac адреса этих устройств остаются в fdb L3 коммутатора и указывают на корректные физические порты и виланы.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Чт апр 14, 2016 09:46 
Не в сети
Сотрудник D-LINK
Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan
Пришлите, пожалуйста, описание того, как воспроизвести проблему мне на почту с конфигурацией коммутатора.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пт июн 10, 2016 13:30 
Не в сети

Зарегистрирован: Пн фев 04, 2013 18:24
Сообщений: 167
Откуда: Санкт-Петербург
Отписываюсь о результате для интересующихся.
D-Link проблему пропадания arpentry подтвердил, но сообщил, что сделать с этим ничего не может так как:

"трафик, который предназначен адресу назначения, которого нет в ARP таблице попадает на CPU и форвадится программно. Если ограничить полосу пропускания для определенной очереди, куда попадает трафик для отсутствующих в таблице ARP клиентов (enable cpu_rx_rate_control для очередей 0, 1 и 2), то это приведет к ограничению такого трафика, но как дополнительный эффект так как часть полосы пропускания будет занята этим трафиком, то сократится и полоса для полезного ARP-трафика"

Вот такие пироги. Будьте внимательны и осторожны при выборе оборудования и планировании архитектуры сети.


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пт июн 10, 2016 14:33 
Не в сети

Зарегистрирован: Чт сен 08, 2011 04:59
Сообщений: 1630
Откуда: Алтайский край, Барнаул
Дык давно уже было известно, то 3612/3627 не любят много ARP.

А вот интересно как в такойже ситуации ведет себя 3620


Вернуться наверх
 Профиль  
 
 Заголовок сообщения: Re: DGS-3612G arpentry loss и все все все
СообщениеДобавлено: Пт июн 10, 2016 14:55 
Не в сети
Сотрудник D-LINK
Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan
Вопрос даже не в большом количестве ARP, а в большом количестве трафика, предназначенного клиентам, адресов которых нет в ARP-таблице.


Вернуться наверх
 Профиль  
 
Показать сообщения за:  Сортировать по:  
Начать новую тему Ответить на тему  [ Сообщений: 37 ]  На страницу 1, 2, 3  След.

Часовой пояс: UTC + 3 часа


Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 41


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB