Добрый день, уважаемые господа.

Имеется в наличии провайдерская сеть - коммутаторы DES-3200 (более 500 штук) на доступе и DGS-3627 в агрегации и ядре. Сеть построена с применением кольцевых схем (rstp). В одном кольце не более 11 коммутаторов.

В течении последних трех недель переживаем сезон гроз. И уже три раза сталкиваемся с тем, что при близком грозовом разряде или броске напряжения в питающей сети, коммутаторы DES-3200 ведут себя, мягко говоря, не лучшим образом - rstp кольца замыкаются и начинается сильнейший бродкастный шторм, справиться с которым удается только сегментируюя сеть. Т.е. приходится отключать ядро от распределительной сети и затем по одному подключать районы и наблюдая не начался ли шторм. После того как все не штормящие районы подключены, доходит дело до штормящих - каждый район соединен с ядром минимум двумя линками, открываем один (при этом шторма нет) и начинаем обследовать коммутаторы районной агрегации и доступа. В процессе обследования обязательно находим несколько DES-3200 которые не отзываются на icmp и не управляются по IP (подключаться к ним консолью не пробовали), однако продолжают коммутировать пакеты, чем вызывают шторм. После перезагрузки такого коммутатора по питанию ситуация нормализуется.

При детальном анализе мы пришли к выводу, то при грозовых явлениях у коммутатора происходит коллапс control plane, а data plane при этом работает. При этом он перестает посылать BPDU, но чужие поглощает, т.е. не форвардит. В итоге соседние коммутаторы считают, что в данном месте сети обрыв и начинают перестраивать топологию rstp - в итоге кольцо замыкается и начинается шторм.

Я собрал на столе испытательный стенд из пяти DES-3200-28 (1.51b09) и одного DGS-3627g (2.84b14), соединенных в кольцо , на котором мне удалось добиться аналогичного грозовому поведения DES-3200-28 - т.е. шторма. Достигается это очень просто, достаточно залить прошивку в один из коммутаторов DES-3200-28 по snmp. Во время прошивки коммутатор утилизирует 100% CPU и похоже не способен отсылать свои rstp bpdu пакеты, т.е. где то через 30-40 секунд после начала процесса прошивки наблюдается перестраивание rstp и замыкание кольца, начинается шторм. Как только коммутатор заканчивает прошиваться, так тут же все нормализуется - кольцо размыкается, шторм угасает. Понятное дело, что причины подобных следствий скорее всего разные, однако то что при помощи синтетических тестов удается добиться схожих с "боевыми" результатов дает надежду на то, что удастся выработать комплекс контрмер, для нейтрализации данной неприятной особенности коммутаторов.
Однако моих познаний в области схемотехники и программного обеспечения данных коммутаторов не достаточно для того что бы прийти к какому либо определенному выводу. Однако мы, на вскидку, можем предположить минимум два варианта развития событий:
1. В процессе грозы (близкий разряд молнии или бросок по питанию) коммутатор получает какую то "покореженную" порцию данных, при обработке которых "софт" ими "давится" и впадет в "дедлок" или что то подобное;
2. В процессе грозы (близкий разряд молнии или бросок по питанию) коммутатор "клинит" аппаратно, т.е. допустим разрушается программный код в ОЗУ и процессор просто ловит "эксцепшен".

Вчера, при чтении nag.ru я наткнулся еще на два сообщения об этом явлении, сегодня я общался с Украинским представительством компании Длинк, где мне сообщили, что с такой проблемой за последнюю неделю я обращаюсь второй. Вывод - проблема явно не надуманная и серьезная.

Господа, прошу вас как можно более серьезно отнестись к данной проблеме и попытаться оперативно ее решить.

У меня готов стенд, более того - в принципе мы даже готовы пойти на натурные испытания, на одном из участков сети.

Я ожидаю от вас рекомендаций и наводящих вопросов, любая информация которая поможет пролить свет на решение этому проблемы лишней не будет.

Оборудование заземлено?
Синтетические тесты тут вряд ли чем-то помогут - хотя на свой страх и риск можете попробовать воспроизвести скачки напряжения. Необходимо знать, что валится в консоль коммутатора в проблемный момент.

Заземлено.

Почему? - Ведь по сути дела, при перепрошивке коммутатора тоже наблюдаться неадекватное поведение. Т.е. это тоже проблема, пускай не первостепенная, но все же проблема. И очень похоже что корни у проблем одни.

Сжечь несколько коммутаторов, что бы посмотреть "потел ли клиент перед смертью" - это конечно сильное предложение, однако мне кажется не самое удачное.

Ну консоль она же не забор, на котором все пишут. Т.е. я не могу одновременно подключиться к более чем 500 коммутаторам консолью, а так как их клинит хаотически, то выдвинуться на конкретное место можно только уже постфактум и подключивщись консолью я на 95% уверен что увижу просто черный экран.

В настоящий момент мы "порвали" все кольца, потому что переживать шторм в четвертый раз не очень хочется, и пытаемся найти решение этой проблемы.

а я думаю у вас сгорают порты (или наводкой свитч как вы сказали виснет)+ всякие абонентские железяки которые вам и устраивают шторм

заземление и молниеотводы сила
проверено

_________________
Умная книжка по теории сетей и настройкам свичей:
ftp://ftp.dlink.ru/pub/Trainings/Switch_D-Link_newest_Basic.pdf

А вот и не правильно думаете, вернее не внимательно читаете. - Я же написал, лечится перезагрузкой.

Т.е. мы к такому "подвисшему" свичу можем приблизиться сначала с одной стороны кольца и закрыть порт в его на правлении на соседе, а потом провести эту же операцию с другой стороны.
После этого туда отправляется ремонтник и изготавливается передергивать питание. Когда он уже занес руку над розеткой, мы открываем закрытые порты в направлении этого свича и через 5-7 секунд имеем шторм. Тут же орем ремонтнику в телефон - "вырубай гниду!", и он его обесточивает на пару минут. Кольцо разрывается, шторм утихает. После включения питания этого свича, он работает нормально - rstp перестраивается и разрывает кольцо, а дальнейшее его обследование показывает, что у него все порты живые.

Что же касается зависания свича от "наводки", то это в принципе возможно. Однако какое то странное зависание - "мозг" клинит, а "ножки" бежать продолжают.
И опять же - свичи других серий так себя не ведут. Поэтому хотелось бы понять, что в этой серии такого наворотили.

Я еще раз повторяю - антивандальный ящик и коммутатор заземлены.
Ну а "молниеотвод" - это вообще из другой оперы.

p.s. Для начала давайте хотя бы разберемся с тем, что можно смоделировать на столе - почему происходит закольцовывание при прошивке свича по snmp? Хотя если свич начать долбить snmpwalk-ами (5-8 штук параллельно), то CPU а 100% взвивается, но при этом топология rstp не перестраивается.

а загрузка CPU при прошивке по tftp

вообщето у свитчей при обновлении прошивки всегда загружается проц соот увеличиваются пинги наблюдаются проблемы с управлением

_________________
Умная книжка по теории сетей и настройкам свичей:
ftp://ftp.dlink.ru/pub/Trainings/Switch_D-Link_newest_Basic.pdf

интересная ситуация, я сталкивался с подобным поведением данного коммутатора. После недавней грозы, посыпались заявки с двух домов где как раз уже поставили 3200-28, сеть построена звездой-соответственно проблем с rstp у нас не было, но вот после грозы коммутаторы тоже стали странно себя вести, а именно гасли порты, после переключения клиента в другой порт работало у абонента сутки и порт тоже гас-хотя loopdetect dis а stp на порты не блокировало, далее когда переключать уже не было некуда перезагрузили по питанию свитчи, и о чудо порты ожили, но на следующий день на домах начались проблемы с получением Ип адреса-хотя порты уже не гасли - проверил настройки,логи, после чего было принято решение заменить коммутаторы, проблема решилась.

3200-28 не любит грозу, с 3526 такого ни когда не было, на 3526 как правило просто выбивало абонентские порты или свитч просто сгорал и то изредка.

_________________
Истина - от твоего Господа, не будь же в числе сомневающихся! Священный Коран,сура"Аль-Бакара-Корова".

что касается загрузки CPU, на коммутаторах прописал

проблем с доступностью даже во время жуткого шторма не было, но также юзаем на абонентских портах от шторма хорошо помогает.

_________________
Истина - от твоего Господа, не будь же в числе сомневающихся! Священный Коран,сура"Аль-Бакара-Корова".

Нет, вы правда читать не умеете? - Я же в первом сообщении написал что при прошивке загрузка CPU 100%.

И что? - Т.е. вы хотите сказать что это нормальная ситуация?
Как по мне, то очень странно видеть загрузку CPU при прошивке - это не слишком ресурсоемкое заняние.

А вообще хотелось бы услышать мнение господ из представительства компании D-Link, потому как более 500 свичей инсталлировано, а хваленая техподдержка очень молчаливо поддерживает.

Да, такое и у Cisco 6500 бывало. Вдруг превращается в хаб (недозагружаясь) и все пакеты передает во всех vlan, делая петлю, но недоступен.

А у нас с парой DGS-3200 вчера был страшный глюк.
В соседней теме описан. Возможно у них процессор одинаковый и заглючивает похоже. Тоже нет линков, что-то свитчится, что-то нет. Управление отваливается.

ШК не может определить причину и решить проблему, если она не воспроизводится на тестовом стенде, если нет tech_support информации, если коммутатор при зависании не выводит ничего в консоль и не отвечает по ней.

Основная проблема в стендовых условиях не воспроизводится и это понятно почему - грозы все же не каждый день случаются. Однако если Вам очень хочется сжечь несколько коммутаторов, то не вопрос и это можно устроить - в соседнем городе имеется в наличии научно-исследовательский институт высоких напряжений, имеющий собственный испытательный стенд на котором они молнию в 10-15 метров запросто могут соорудить. Однако кто будет весь этот "банкет" (коммутаторы, испытания и потраченное на это время) оплачивать - ШК?

Именно поэтому я, уже второй раз, предлагаю сначала разобраться и выработать контрмеры с опосредованной проблемой - почему при перешивке коммутатора происходит закольцовывание? Это проблема повторяема и запросто достигается на описанном мною стенде. Специалисты компании хотя бы пробовали ее воспроизвести? Проблема то явно программная.


Как только мы снова столкнемся с этой проблемой, то обязательно попробуем снять эту информацию с "зависшего" коммутатора, а сейчас давайте все же вернемся к проблеме прошивки - что мне необходимо предоставить Вам, что бы вопрос начала решаться?

На испытательном стенде - 5 DES-3200-28 + 1 DGS-3627g в rstp кольце, на всех коммутаторах safeguard_engine включен

Однако при перепрошивке возникает закольцовывание, при этом возникает бродкастный шторм, однако загрузка CPU DGS-3627g в этот момент не превышает 10-15%, понятно что safeguard_engine не срабатывает. Однако тот DGS-3627g перестает управляться по IP и пинговаться даже с того порта который в шторме не участвует (на нем нем вланов в которых штормит). Вот и не понятно, чем же он так перенапрягся, что не отвечает на внешние раздражители, когда такая низкая загрузка CPU?

Хм... И каким же это образом?

По поводу загрузки процессора в момент перепрошивки я уже уточняю информацию в ШК.

Добрый день!

Это DES-3526 или что? А как насчет DES-3028, они тоже не виснут, или не проверяли? Просто 3526DC достаточно экзотичен.

И те свитчи, которые заменили, они что, совсем сломались? Просто сейчас решаем, покупать такую модель или нет.
ИБП не помогают от зависаний?