В результате эксплуатации DFL-800 выяснилось, что фаервол блокирует попытку SMTP сервера установить TLS сессию, не выдавая ответа о невозможности ее установления. В результате возникает ситуация с невозможностью доставки письма.

Вот цитата из письма техподдерки почтового сервера:
"В данном случае передача идет с переключением на TLS "на лету" - прямо "в пределах" исходного коннекта к 25му порту, без отдельной сессии на SSL-порт к 465му.
Firewall ваш (какой, если не секрет?) или не знает команду STARTTLS, либо специально блокирует TLS, чтобы шифрование не мешало ему выуживать в SMTP то, что он хочет ("защищать"). Правда в этом (втором) случае с его стороны было бы логично самостоятельно отвечать отказом на STARTTLS, чтобы пресечь попытки, а он позволяет Eserv'у ответить положительно, что мол готов переключаться."

Вот лог моего SMTP сервера:
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;220 ххх.032.ru Eserv/3.4488 ESMTP. Wed, 12 Mar 2008 11:26:51 +0300
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;NOOP
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;250 Ok
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;EHLO rainbow.koenig.ru
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;250-ххх.032.ru Hello [10.0.0.254] 250-AUTH PLAIN LOGIN 250-AUTH=LOGIN 250-STARTTLS 250-SIZE 15000000 250-ETRN 250-8bitmime 250-BINARYMIME 250 HELP
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;STARTTLS
2008-03-12 11:26:51;10.0.0.254;@ххх.032.ru;220 Ready to start TLS
и на этой команде сессия зависает и через некоторое время отваливается по таймауту...

Используется ли на DFL SMTP alg?

Если я правильно понимаю, то да...

Почтовый сервер подключен к порту DMZ с серым адресом. По аналогии с маппированием ftp прописал маппирование smtp-inbound протокола. Если я правильно понимаю описание в WEB интерфейсе, то это Simple Mail Transfer Protocol via SMTP ALG.

ALG не может заглядывать в шифрованные пакеты отсуда могут возникать и проблемы, попробуйте не использовать ALG

Все заработало в режиме: smtp-in TCP 25 Simple Mail Transfer Protocol with SYN flood protection.

Где можно найти толковое описание всех этих режимов?

Конкретно что интересует? работа всех ALG описана подробно в инструкции.