Имеем DFL-200, в настройках включен сброс логов на сервер. На сервере висит Kiwi Syslog, ктороый пишет в файл.
Возникла необходимость написать скрипт, что бы анализировать с какого внутреннего IP на какой внешний ходили и сколько скачали.

Скрипт лежащий тут ftp://ftp.dlink.ru/pub/FireWall/DFL-700/Knowledgebase/toptalkers.zip выдает только статистику куда ходили и сколько скачали.
Хотел модифицировать этот скрипт, и возникло несколько вопросов по информации в логах DFL-200:

1. Запись вида 1:
2006-03-30 12:35:39 Local0.Info 192.168.0.49 EFW: CONN: prio=1 rule=Auth_http srcusername="snst" conn=close connipproto=TCP connrecvif=LAN connsrcip=192.168.0.2 connsrcport=3400 conndestif=core conndestip=81.19.70.1 conndestport=80 origsent=717 termsent=422
Что за интерфейс core ? Ведь в настройках файрволла мы имеем два интерфейса: LAN и WAN...
Или запрос с внутреннего IP на внешний IP пошется в логах двумя строками: с внутреннего IP на core и с core на внешний IP ?
Но тогда получается что статистику "какой внутренний IP сколько скачал с определенного внешнего IP" невозможно получить в принципе ?
2. Почему скрипт с ftp.dlink.ru анализирует только строки conn=close ?, ведь в строке вида:
2006-03-30 12:34:50 Local0.Info 192.168.0.49 EFW: ALG: prio=1 algmod=http algsesid=3512 event=url_request url="www.d-link.ru/phorum/templates/subSilver/images/lang_russian/po" peer=client connipproto=TCP connrecvif=LAN connsrcip=192.168.0.2 connsrcport=3437 conndestif=core conndestip=213.234.241.211 conndestport=80 origsent=551 termsent=84
тоже есть информация об объеме переданной и полученной информации

Вообще можно получить более подробную информацию как в логах DFL-200 должен отражаться например такая операция:
пользователь отправляет с IP 192.168.0.1 запрос http://www.dlink.ru объемом Х байт
и получает на свой адрес html-страницу объемом Y байт ?

Интерфейс core -- это сам файрволл.
Анализируется только закрытие соединений потому, что именно в этих записях получается полная информация о прошедшем трафике по соединению на момент закрытия.

_________________
С уважением -- Александр Шебаронин.

Тогда получается, что ваш скрипт будет считать не правильно по причине:
1. Если мы ставим - считать по интерфейсу LAN - в отчет попадет весь локальный трафик
2. Если мы ставим - считать по интерфейсу WAN - в отчет не попадут вот такие строки:
2006-04-03 11:19:04 Local0.Info 192.168.0.49 EFW: CONN: prio=1 rule=Auth_http srcusername="snst" conn=close connipproto=TCP connrecvif=LAN connsrcip=192.168.0.2 connsrcport=1393 conndestif=core conndestip=X.X.X.X conndestport=80 origsent=465 termsent=769

К тому же получается, что нужную мне статистику, как я писал выше, получить не удастся ?
Я прав ?

Скрипт -- просто пример. Пример того, КАК сделать. Да, для более точной статистики при использовании ALG потребуется модификация для учета трафика через эти правила.

_________________
С уважением -- Александр Шебаронин.

Т.е. строки ALG дублируют информацию строк close в части касающейся объема трафика ? И значит можно делать по ALG анализ?
Может можно получить от Вас какой-то мануал по сообщениям DFL-200 ? Хотелось бы досконально разобраться, что же он пишет в лог и в каких случаях.

У меня тоже проблема с анализом логов
Я написал свои прогу для сбора статистики по логам, однако возникло ряд вопросов:
1. У меня в логах отсутствует URL, куда ходили юзеры, а только IP-адрес?
2. Что такое ALG, о котором вы говорили? Он у вас присутствует в логе, а у меня нет У меня строки такого вида:
2006-02-15 10:19:22 Local0.Info 192.168.0.1 EFW: CONN: prio=1 rule=allow_users srcusername="User1" conn=close connipproto=TCP connrecvif=LAN connsrcip=192.168.0.5 connsrcport=4032 conndestif=WAN conndestip=213.234.234.100 conndestport=80 origsent=614 termsent=1129
Как и главное где мне настроить, чтобы записывались URL, куда ходили юзверы?

Так вот я и пытаюсь у саппорта хоть какую нибудь информацию по логам выпросить

Но у вас же получилось собирать статистику по URL, т.е. у вас есть строки ALG - как хотя бы это получить?

Включите аутентификацию:
http://www.dlink.ru/technical/faq_firewall_23.php
или используйте в правилах сервис, в котором включите опцию
ALG: HTTP/HTML Conent Filtering

Впрочем анализ по ALG - это только часть вашего трафика, скажем есть еще FTP, POP, SMTP, которые в ALG строки не попадут.

Спасибо, увидел где этот ALG зарыт
У меня была включена авторизация, но во всех политиках стояло "Service:ALL", теперь наверное придется менять все политики на конкретные сервисы HTTP, FTP и т.д. чтобы проставить ALG
А трафик по POP,SMTP и т.д. можно разбирать по строкам CONN: а в них по номеру порта "conndestport=" 110 или 25 или 143.