D-Link • Просмотр темы - Дропы на комбо-порту DGS-3120-24TC

Сообщения без ответов | Активные темы

Список форумов » Коммутаторы

Часовой пояс: UTC + 3 часа

Дропы на комбо-порту DGS-3120-24TC

Модераторы: Victor Kolosov, Alexander Shebaronin, Demin Ivan, Sergei Asmankin, Denis Evgraphov, Sergik

Страница 1 из 1

[ Сообщений: 15 ]

Предыдущая тема | Следующая тема

Автор

Сообщение

KovAl59

Заголовок сообщения: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Пн сен 03, 2012 14:37

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Наблюдаю странную картину на порту DGS-3120-24TC

Код:

DGS-3120-24TC:admin#sh error port 24
Command: show error ports 1:24


 Port Number : 1:24
                 RX Frames                                   TX Frames
                 ---------                                   ---------
 CRC Error       0                     Excessive Deferral    0
 Undersize       0                     CRC Error             0
 Oversize        0                     Late Collision        0
 Fragment        0                     Excessive Collision   0
 Jabber          0                     Single Collision      0
 Drop Pkts       87807                 Collision             0
 Symbol Error    0

Счётчик дропов крутится с завидной быстротой.

Код:

Device Type                : DGS-3120-24TC Gigabit Ethernet Switch
Unit ID                    : 1
.....
Boot PROM Version          : Build 2.00.003
Firmware Version           : Build 2.50.015
Hardware Version           : A2
Firmware Type              : EI

Порт подключен медью (метровый патчкорд) к такому же комбо-порту DGS-3612, на котором ошибок нет.
ACL на обоих коммутаторах отсутствуют, птчкорд проверен.
Где искать причину?

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Пн сен 03, 2012 22:21

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Нашел причину проблемы - кривой /dev/hands :oops:

На порту DGS-3612, подключенному к "проблемному" порту DGS-3120, было "навешено" аж 8 штук "чужих" vlan (которых соотв. на DGS-3120 нет). Осталось от прежней конфигурации.
Удалил на 3612 лишние vlan, все стало красиво и спокойно.
Тему можно закрывать.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 10:56

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Все-таки, не все в порядке в Датском королевстве...
Схожая проблема №2:
на девайсе

Код:

Device Type                : DGS-3120-24TC Gigabit Ethernet Switch
Boot PROM Version          : Build 2.00.003
Firmware Version           : Build 2.00.B030
Hardware Version           : A1
Firmware Type              : EI

поднята агрегация LACP

Код:

Link Aggregation Algorithm = IP-Source-Dest
Group ID      : 2
Type          : LACP
Master Port   : 1:16
Member Port   : 1:16,1:18
Active Port   : 1:16,1:18
Status        : Enabled
Flooding Port : 1:16
Trap          : Disabled

Total Entries : 2

На "ответной" стороне CentOS 6.3, bonding с двухпортовой Intel 82576

Код:

Ethernet Channel Bonding Driver: v3.6.0 (September 26, 2009)

Bonding Mode: IEEE 802.3ad Dynamic link aggregation
Transmit Hash Policy: layer3+4 (1)
MII Status: up
MII Polling Interval (ms): 100
Up Delay (ms): 0
Down Delay (ms): 0

802.3ad info
LACP rate: slow
Aggregator selection policy (ad_select): stable
Active Aggregator Info:
        Aggregator ID: 1
        Number of ports: 2
        Actor Key: 17
        Partner Key: 16
        Partner Mac Address: 1c:7e:xx:xx:xx:xx

Slave Interface: eth2
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 1
Permanent HW addr: 00:1b:xx:xx:xx:x0
Aggregator ID: 1
Slave queue ID: 0

Slave Interface: eth3
MII Status: up
Speed: 1000 Mbps
Duplex: full
Link Failure Count: 0
Permanent HW addr: 00:1b:xx:xx:xx:x1
Aggregator ID: 1
Slave queue ID: 0

На bond0 поднято два vlan (vid 3 и vid 6), аналогично на DGS-3120 (порты 16, 18 в tagged), в другие vlan на эти порты не входят.
Суть проблемы - снова дропы и снова ТОЛЬКО на DGS-е..

Код:

DGS-3120-24TC:admin#sh error ports 16,18
Command: show error ports 1:16,1:18


 Port Number : 1:16
                 RX Frames                                   TX Frames
                 ---------                                   ---------
 CRC Error       0                     Excessive Deferral    0
 Undersize       0                     CRC Error             0
 Oversize        0                     Late Collision        0
 Fragment        0                     Excessive Collision   0
 Jabber          0                     Single Collision      0
 Drop Pkts       63630                 Collision             0
 Symbol Error    0

 Port Number : 1:18
                 RX Frames                                   TX Frames
                 ---------                                   ---------
 CRC Error       0                     Excessive Deferral    0
 Undersize       0                     CRC Error             0
 Oversize        0                     Late Collision        0
 Fragment        0                     Excessive Collision   0
 Jabber          0                     Single Collision      0
 Drop Pkts       63632                 Collision             0
 Symbol Error    0

Трафика через данный линк практически нет (тестовый стенд, за исключением коммутатора), только доступ к CentOS по ssh.
Дропов на CentOS тоже нет

Код:

ethtool -S eth2 | grep drop
     dropped_smbus: 0
     tx_dropped: 0
     rx_queue_0_drops: 0
     rx_queue_1_drops: 0
     rx_queue_2_drops: 0
     rx_queue_3_drops: 0
     rx_queue_4_drops: 0
     rx_queue_5_drops: 0
     rx_queue_6_drops: 0
     rx_queue_7_drops: 0

ethtool -S eth3 | grep drop
     dropped_smbus: 0
     tx_dropped: 0
     rx_queue_0_drops: 0
     rx_queue_1_drops: 0
     rx_queue_2_drops: 0
     rx_queue_3_drops: 0
     rx_queue_4_drops: 0
     rx_queue_5_drops: 0
     rx_queue_6_drops: 0
     rx_queue_7_drops: 0

Перепробовал на CentOS все алгоритмы балансировки - результат одинаков..
Что еще смотреть?

P.S. Обновить прошивку пока-что нет возможности, коммутатор в работающем ядре сети. Постараюсь, конечно, выбрать момент для ребута (новая прошивка уже залита), но может дело не в этом и есть что-то еще покрутить?

Вернуться наверх

Denis Evgraphov

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 14:39

Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan

И как часто прирастают дропы? Вы пробовали данные по ошибкам снимать несколько раз с интервалом в минуту, чтобы увидеть динамику?
Само по себе наличие дропов не указывает напрямую на какие-либо проблемы в сети, что именно у Вас не работает?

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 15:08

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Denis Evgraphov писал(а):

И как часто прирастают дропы? Вы пробовали данные по ошибкам снимать несколько раз с интервалом в минуту, чтобы увидеть динамику?

Динамика ~ 1 пакет в секунду (59 в минуту).
Это при практически полном отстуствии трафика!

Код:

DGS-3120-24TC:admin#sh ports 16 details
Command: show ports 1:16 details

Port : 1:16
--------------------
Port Status                 : Link Up
Description                 :
HardWare Type               : Gigabits Ethernet
MAC Address                 : 1C-7E-E5-6C-D7-10
Bandwidth                   : 1000000Kbit
Auto-Negotiation            : Disabled
Duplex Mode                 : Full Duplex
Flow Control                : Disabled
MDI                         : Cross
Address Learning            : Enabled
Last Clear of Counter       : 24 hours 35 mins ago
BPDU Hardware Filtering Mode: Disabled
Queuing Strategy            : FIFO
TX Load                     :   1/100,        528 bits/sec,        0 packets/sec
RX Load                     :   1/100,       1000 bits/sec,        0 packets/sec

Denis Evgraphov писал(а):

Само по себе наличие дропов не указывает напрямую на какие-либо проблемы в сети, что именно у Вас не работает?

А вот этого я и хочу избежать, когда система отправится в продакшен. Очень не хотелось бы искать глюки, когда через железку потечёт ~ 1G трафика и клиенты начнут раскалять телефоны..
Возможно, что имеющийся факт действительно может и не создать каких-либо больших проблем, а если всё же создаст?
Гадать на ромашке, когда у тебя за плечами не одна тысяча абонентов, как-то не кошерно..

Вернуться наверх

Artem Kolpakov

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 15:30

Сотрудник D-LINK

Зарегистрирован: Вт янв 18, 2011 13:29
Сообщений: 8999

Подключитесь сниффером к CentOS вместо коммутатора и посмотрите, какие пакеты шлет система один раз в секунду. Скорее всего, это какие-то служебные пакеты, которые никак не распознаются DGS-3120 и дропаются.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 15:47

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Artem Kolpakov писал(а):

Да, скорее всего Вы правы - запустил на CentOS закачку файла, где-то 15 Мбит/с, динамика дропов не изменилась, также ~ 1/сек.
Я конечно попробую выяснить, что это за пакеты. Но в таком случае, как избежать этого? Что "сказать" 3120, чтобы он "не обращал внимания" на этот мусор?
Дело в том, что порты в мониторинге, и эти "показания" будут вносить путаницу.

P.S. Кстати, а как бы "половчее" изловить эти пакеты? Желательно бы tcpdump-ом. И вообще, известно ли, что вообще может дропать DGS-3120 по-умолчанию, без специальных настроек (ACL)?

Вернуться наверх

Artem Kolpakov

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 16:29

Сотрудник D-LINK

Зарегистрирован: Вт янв 18, 2011 13:29
Сообщений: 8999

Вам тогда нужно не DGS-3120 настраивать чтобы он внимания не обращал, а CentOS - чтобы он этот "мусор" не рассылал.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 16:45

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Artem Kolpakov писал(а):

Вам тогда нужно не DGS-3120 настраивать чтобы он внимания не обращал, а CentOS - чтобы он этот "мусор" не рассылал.

Согласен. Вопрос за малым - что это может быть?
Поэтому я и задал вопрос - а что может дропать DGS-3120 по-умолчанию, своим "внутренним" фильтром? Хотя бы предположительно.
Иначе получается поиск чёрной кошки в тёмной комнате, да к тому же еще и неизвестно, есть ли она там..

P.S. Предположил, что это может быть ipv6, но.. tcpdump не показал ни одного пакета..
Может это что-то из 802.3ad "не согласуется"? Как посмотреть?

P.P.S. По поводу 802.3ad.. Нагуглил, как посмотреть, посмотрел, но на данный момент ясности не внесло.
Вот такая "картина маслом"-

Код:

tcpdump -p -e ether proto 0x8809 -i bond0
tcpdump: WARNING: bond0: no IPv4 address assigned
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on bond0, link-type EN10MB (Ethernet), capture size 65535 bytes
17:49:47.310719 1c:7e:e5:6c:d7:10 (oui Unknown) > 01:80:c2:00:00:02 (oui Unknown), ethertype Slow Protocols (0x8809), length 124: LACPv1, length 110
17:50:11.309605 1c:7e:e5:6c:d7:12 (oui Unknown) > 01:80:c2:00:00:02 (oui Unknown), ethertype Slow Protocols (0x8809), length 124: LACPv1, length 110
17:50:17.309459 1c:7e:e5:6c:d7:10 (oui Unknown) > 01:80:c2:00:00:02 (oui Unknown), ethertype Slow Protocols (0x8809), length 124: LACPv1, length 110
17:50:41.308889 1c:7e:e5:6c:d7:12 (oui Unknown) > 01:80:c2:00:00:02 (oui Unknown), ethertype Slow Protocols (0x8809), length 124: LACPv1, length 110
17:50:47.308743 1c:7e:e5:6c:d7:10 (oui Unknown) > 01:80:c2:00:00:02 (oui Unknown), ethertype Slow Protocols (0x8809), length 124: LACPv1, length 110
^C
5 packets captured
7 packets received by filter
0 packets dropped by kernel

MAC-и 1c:7e:e5:6c:d7:10 и 1c:7e:e5:6c:d7:12 недвусмысленно намекают на MAC DGS - 1c:7e:e5:6c:d7:00..
А вот этого - 01:80:c2:00:00:02 - вообще нигде не существует (во всяком случае не нашел).
Да и "мусор" этот, судя по всему исходит из DGS-3120..

Вернуться наверх

Denis Evgraphov

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 17:25

Сотрудник D-LINK

Зарегистрирован: Чт фев 12, 2009 14:59
Сообщений: 9482
Откуда: Ryazan

Правильней будет смотреть только исходящие с CentOS 6.3 пакетики.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Ср сен 05, 2012 17:31

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Denis Evgraphov писал(а):

Правильней будет смотреть только исходящие с CentOS 6.3 пакетики.

А чтО именно смотреть? Нет их в том дампе, что я привёл... Значит это что-то другое..

P.S. Абсурд, но с такой периодичностью (~1с) вижу только эти пакеты

Код:

20:39:42.487390 LACPv1, length 110
        Actor Information TLV (0x01), length 20
          System 1c:7e:e5:6c:d7:00, System Priority 1, Key 16, Port 16, Port Priority 1
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  d700 0010 0001 0010 3f00 0000 0214 ffff
          0x0010:  001b
        Partner Information TLV (0x02), length 20
          System 00:1b:xx:xx:xx:xx, System Priority 65535, Key 17, Port 1, Port Priority 255
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  fb60 0011 00ff 0001 3f00 0000 0310 00ff
          0x0010:  0000
        Collector Information TLV (0x03), length 16
          Max Delay 255
          0x0000:  0000 0000 0000 0000 0000 0000 0000
        Terminator TLV (0x00), length 0 (=52)
          0x0000:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0010:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0020:  0000 0000 0000 0000 0000 0000
20:39:42.487706 LACPv1, length 110
        Actor Information TLV (0x01), length 20
          System 1c:7e:e5:6c:d7:00, System Priority 1, Key 16, Port 18, Port Priority 1
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  d700 0010 0001 0012 3f00 0000 0214 ffff
          0x0010:  001b
        Partner Information TLV (0x02), length 20
          System 00:1b:xx:xx:xx:xx, System Priority 65535, Key 17, Port 2, Port Priority 255
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  fb60 0011 00ff 0002 3f00 0000 0310 00ff
          0x0010:  0000
        Collector Information TLV (0x03), length 16
          Max Delay 255
          0x0000:  0000 0000 0000 0000 0000 0000 0000
        Terminator TLV (0x00), length 0 (=52)
          0x0000:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0010:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0020:  0000 0000 0000 0000 0000 0000
20:39:43.487382 LACPv1, length 110
        Actor Information TLV (0x01), length 20
          System 1c:7e:e5:6c:d7:00, System Priority 1, Key 16, Port 16, Port Priority 1
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  d700 0010 0001 0010 3f00 0000 0214 ffff
          0x0010:  001b
        Partner Information TLV (0x02), length 20
          System 00:1b:xx:xx:xx:xx, System Priority 65535, Key 17, Port 1, Port Priority 255
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  fb60 0011 00ff 0001 3f00 0000 0310 00ff
          0x0010:  0000
        Collector Information TLV (0x03), length 16
          Max Delay 255
          0x0000:  0000 0000 0000 0000 0000 0000 0000
        Terminator TLV (0x00), length 0 (=52)
          0x0000:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0010:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0020:  0000 0000 0000 0000 0000 0000
20:39:43.487698 LACPv1, length 110
        Actor Information TLV (0x01), length 20
          System 1c:7e:e5:6c:d7:00, System Priority 1, Key 16, Port 18, Port Priority 1
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  d700 0010 0001 0012 3f00 0000 0214 ffff
          0x0010:  001b
        Partner Information TLV (0x02), length 20
          System 00:1b:xx:xx:xx:xx, System Priority 65535, Key 17, Port 2, Port Priority 255
          State Flags [Activity, Timeout, Aggregation, Synchronization, Collecting, Distributing]
          0x0000:  fb60 0011 00ff 0002 3f00 0000 0310 00ff
          0x0010:  0000
        Collector Information TLV (0x03), length 16
          Max Delay 255
          0x0000:  0000 0000 0000 0000 0000 0000 0000
        Terminator TLV (0x00), length 0 (=52)
          0x0000:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0010:  0000 0000 0000 0000 0000 0000 0000 0000
          0x0020:  0000 0000 0000 0000 0000 0000

00:1b:xx:xx:xx:xx - MAC интерфейса bond0 CentOS.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Чт сен 06, 2012 10:08

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Судя по всему, DGS-3120 дропает пакеты LACPDU. Т.о. получается, что он, или CentOS не могут произвести согласование линка. Вывод - агрегация не работает, или это еще ничего не значит??
Что-то еще на эту тему (LACPDU) можно покрутить на DGS?

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Чт сен 06, 2012 20:43

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Эх... А проблема-то оказывается давным-давно известна!! :evil:

viewtopic.php?f=2&t=145584&hilit=port_group&start=15#p773048
Вместо этого я неделю насиловал ни в чём не повинный CentOS..
За год можно было-бы и добавить в мануал пару строк..

Вернуться наверх

Artem Kolpakov

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Пт сен 07, 2012 08:35

Сотрудник D-LINK

Зарегистрирован: Вт янв 18, 2011 13:29
Сообщений: 8999

Вполне логично - и мы об этом неоднократно писали на этом форуме, который вы читаете уже точно больше года - что PVID порта должен быть равен одному из VID реально существующих на порту vlan. И настройки PVID нужно смотреть одними из первых, если на порту не поднимается stp, lacp и пр.

Вернуться наверх

KovAl59

Заголовок сообщения: Re: Дропы на комбо-порту DGS-3120-24TC

Добавлено: Пт сен 07, 2012 09:13

Зарегистрирован: Ср июл 29, 2009 13:26
Сообщений: 544
Откуда: Фурманов

Artem Kolpakov писал(а):

Ну Ваш ответ я таким и предполагал увидеть, даже хотел приписать это в последнем сообщении.

Но вообще-то я не об этом, а о том, что

KovAl59 писал(а):

За год можно было-бы и добавить в мануал пару строк..

Ну как говорится, проехали..

P.S. Очень НЕ хотелось бы повторения подобной ситуации здесь.

Вернуться наверх

Страница 1 из 1

[ Сообщений: 15 ]

Список форумов » Коммутаторы

Часовой пояс: UTC + 3 часа

Кто сейчас на форуме

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 21

Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения