Свич DES-3528 . 24 штуки. HW - A3. Firmware: Build 3.10.B058. ( 3.10.B054 - анологично)

После перевода на IPoE свичи стали терять управление , зависать и перегружаться.

Внешние признаки
- горят индикаторы всех или некоторых портов желтым цветом.
-горит линк на некоторых портах
-индикация на всех портах отсутствует.

После холодной перезагрузки в журнале присутствует

15486 2016-03-14 08:58:46 CRIT(2) System started up
15485 2016-03-14 08:58:46 EMER(0) ERROR_LOG(2):System re-start reason: CPU exception
15484 2016-03-14 08:58:46 CRIT(2) System cold start


Иногда бывает, что свичи вылетают в перезагрузку по несколько раз но с обязательным полным зависанием, пока не передернут питание.
После этого свич будет полноценно работать некоторое время, до 12 дней. Два свича с тремя абонентами проработали 25 дней.

44076 2016-02-17 09:41:46 INFO(6) Port 25 link up, 1000Mbps FULL duplex
44075 2016-02-17 09:41:46 CRIT(2) System started up
44074 2016-02-17 09:41:46 CRIT(2) System cold start
44073 2016-02-17 09:41:46 INFO(6) SSH server is enabled
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
44072 2016-02-17 03:25:37 WARN(4) Unauthenticated IP-MAC address and discarded by ip mac port binding(IP:<100.64.185.124>, MAC
:<08-60-6E-7F-ED-EC>, Port<2>)
44071 2016-02-17 03:25:36 WARN(4) Unauthenticated IP-MAC address and discarded by ip mac port binding(IP:<10.1.215.95>, MAC:<1
4-CC-20-32-D7-5F>, Port<20>)
44070 2016-02-17 03:25:31 INFO(6) Port 27 link up, 1000Mbps FULL duplex
44069 2016-02-17 03:25:27 INFO(6) Port 27 link down
44068 2016-02-17 03:25:27 INFO(6) Port 27 link up, 1000Mbps FULL duplex
44067 2016-02-17 03:25:26 INFO(6) Port 18 link up, 100Mbps FULL duplex
44066 2016-02-17 03:25:26 INFO(6) Port 20 link up, 100Mbps FULL duplex
44065 2016-02-17 03:25:26 INFO(6) Port 7 link up, 10Mbps FULL duplex
44064 2016-02-17 03:25:26 INFO(6) Port 15 link up, 100Mbps FULL duplex
44063 2016-02-17 03:25:26 INFO(6) Port 14 link up, 100Mbps FULL duplex
44062 2016-02-17 03:25:26 INFO(6) Port 12 link up, 100Mbps FULL duplex
44061 2016-02-17 03:25:26 INFO(6) Port 9 link up, 100Mbps FULL duplex
44060 2016-02-17 03:25:26 INFO(6) Port 2 link up, 100Mbps FULL duplex
44059 2016-02-17 03:25:26 INFO(6) Port 5 link up, 100Mbps FULL duplex j
44058 2016-02-17 03:25:25 INFO(6) Port 26 link up, 1000Mbps FULL duplex
44057 2016-02-17 03:25:25 CRIT(2) System started up
44056 2016-02-17 03:25:25 EMER(0) ERROR_LOG(2):System re-start reason: CPU exception
44055 2016-02-17 03:25:25 CRIT(2) System cold start
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
44054 2016-02-17 03:25:25 INFO(6) Port 25 link up, 1000Mbps FULL duplex
44053 2016-02-17 03:25:25 INFO(6) SSH server is enabled
44052 2016-02-17 03:14:03 WARN(4) Unauthenticated IP-MAC address and discarded by ip mac port binding(IP:<10.1.215.95>, MAC:<1
4-CC-20-32-D7-5F>, Port<20>)
44051 2016-02-17 03:14:00 WARN(4) Unauthenticated IP-MAC address and discarded by ip mac port binding(IP:<100.64.185.124>, MAC
:<08-60-6E-7F-ED-EC>, Port<2>)
44050 2016-02-17 03:13:58 INFO(6) Port 27 link up, 1000Mbps FULL duplex
44049 2016-02-17 03:13:53 INFO(6) Port 27 link down
44048 2016-02-17 03:13:53 INFO(6) Port 27 link up, 1000Mbps FULL duplex
44047 2016-02-17 03:13:52 INFO(6) Port 20 link up, 100Mbps FULL duplex
44046 2016-02-17 03:13:52 INFO(6) Port 14 link up, 100Mbps FULL duplex
44045 2016-02-17 03:13:52 INFO(6) Port 18 link up, 100Mbps FULL duplex
44044 2016-02-17 03:13:52 INFO(6) Port 15 link up, 100Mbps FULL duplex
44043 2016-02-17 03:13:52 INFO(6) Port 7 link up, 10Mbps FULL duplex
44042 2016-02-17 03:13:52 INFO(6) Port 12 link up, 100Mbps FULL duplex
44041 2016-02-17 03:13:52 INFO(6) Port 9 link up, 100Mbps FULL duplex
44040 2016-02-17 03:13:52 INFO(6) Port 2 link up, 100Mbps FULL duplex
44039 2016-02-17 03:13:52 INFO(6) Port 5 link up, 100Mbps FULL duplex
44038 2016-02-17 03:13:51 INFO(6) Port 26 link up, 1000Mbps FULL duplex
44037 2016-02-17 03:13:51 CRIT(2) System started up
44036 2016-02-17 03:13:51 EMER(0) ERROR_LOG(2):System re-start reason: CPU exception
44035 2016-02-17 03:13:51 CRIT(2) System cold start
++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
44034 2016-02-17 03:13:51 INFO(6) Port 25 link up, 1000Mbps FULL duplex
44033 2016-02-17 03:13:51 INFO(6) SSH server is enabled
44032 2016-02-17 02:28:06 WARN(4) Unauthenticated IP-MAC address and discarded by ip mac port binding(IP:<10.1.215.95>, MAC:<1
4-CC-20-32-D7-5F>, Port<20>)
44031 2016-02-17 02:28:00 INFO(6) Port 27 link up, 1000Mbps FULL duplex
44030 2016-02-17 02:27:55 INFO(6) Port 27 link down
44029 2016-02-17 02:27:55 INFO(6) Port 20 link up, 100Mbps FULL duplex

Похоже что программа вылетает из-за неправильной обработки внешних прерываний , связанных с событиями на портах или/или перестройки ACL для Ip-Mac-Port Binding. (Асинхронные события).

Горячая, профилактическая перезагрузка продлевает "жизнь" свича без зависания на 9 - 15 дней.

Пробовал снимать отладочные данные. Для этого вводились команды :
debug address_binding dhcp state enable
debug output module IMPB buffer
debug output all buffer
и свич работал 9-15 дней до зависания.
После зависания - холодная перезагрузки и ввод команд :

config ports 1-24 state disable
debug buffer dump
debug error_log dump
show tech_support
config ports 1-24 state enale

DES-3528:admin#debug buffer dump
Command: debug buffer dump

Debug buffer is empty.

DES-3528:admin#debug error_log dump
Command: debug error_log dump
Error log is empty.


Замечена еще одна аномалия. Если на свиче включить
debug address_binding dhcp state enable
debug output module IMPB buffer
debug output all buffer

и через время (что бы набралось достаточное количество отладочных записей)
debug output all buffer

то это приводят к началу выдачи случайного числа записей из буфера. После этого telnet-терминал замирает и связь с ним обрывается по тайм-ауту.
Второй Telnet - терминал , заранее открытый на этот же свич может оборваться, может продолжить работу, но с прекращением на некоторое время реакции на происходящее. ( без второго терминала картина та же)
Загрузка CPU при этом поднимаеться с 9 до 15 процентов.
Свич перестает отвечать на пинги, получение абонентами Ip-адресов прекращаеться. (Ядро свича недоступно). Через 2-3 минуты свич 'оживает'.

Получить полный вывод 'debug output all buffer' стало возможным только после перевода в offline всех абонентских портов. При этом
все описанные эффекты не присутствуют и загрузка CPU остаеться на уровне 10 - 12 процентов.

замена в команде
config address_binding ip_mac ports 1-24 state enable allow_zeroip enable forward_dhcppkt enable mode arp stop_learning_threshold 6
ARP на ACL , проблему выдачи 'debug output all buffer' не решила.

В какой стороне искать причину ? Как заставить свич выдать трассу событий, предшествующих ситуации CPU exception ?

Поидее в момент краша он выкидывает лог в консоль.

Может модераторы как то прокомментируют тему ?

Присылайте конфиг и вывод tech support - там должна содержаться информация о cpu exception.

Отправил

Я никакие письма с данной информацией не получал.
Почта указана в моем профиле - всю информацию присылайте на нее.

Отправил на почту.

Передал информацию в ШК.