DFL 804HV (Firmware Version: 1.30) выступает в качестве VPN сервера

IKE Proposal:
DH Group=1;
Encrypt algorithm=3DES;
Auth algorithm=MD5;
Life Time=28800sec
IPSEC Proposal:
DH Group=1
Encap protocol=AH
Encrypt algorithm=None
Auth algorithm=SHA1
Life Time=300sec

DFL 500 (Firmware Version 2.36,build077,030619) - в качестве клиента
настройки на обоих концах одинаковые

VPN тоннель не устанавливается, в логах:
5 декабря 2003 г. 3:37:40 Send IKE M2(RESP) : x.x.x.1 --> x.x.x.2
5 декабря 2003 г. 3:37:40 Receive IKE M3(KEYINIT) : x.x.x.2 --> x.x.x.1
5 декабря 2003 г. 3:37:40 Send IKE M4(KRESP) : x.x.x.1 --> x.x.x.2
5 декабря 2003 г. 3:37:40 Receive IKE M5(IDINIT) : x.x.x.2 --> x.x.x.1
5 декабря 2003 г. 3:37:40 Send IKE M6(IDRESP) : x.x.x.1 --> x.x.x.2
5 декабря 2003 г. 3:37:40 IKE Phase1 (ISAKMP SA) established : x.x.x.1 <-> x.x.x.2
5 декабря 2003 г. 3:37:40 Receive IKE Q1(QINIT) : [x.x.x.2]-->[x.x.x.1]
5 декабря 2003 г. 3:37:40 Requested routing is [192.168.100.0|x.x.x.2]<->[x.x.x.1|192.168.0.1]
* Try to match with MODE:Tunnel PROTOCAL:Others AUTH:SHA1 HASH:Others PFS(Group):Others
* Try to match with MODE:Tunnel PROTOCAL:ESP-DES AUTH:SHA1 HASH:Others PFS(Group):Others
* Try to match with MODE:Tunnel PROTOCAL:ESP-3DES AUTH:SHA1 HASH:Others PFS(Group):Others

x.x.x.1 - DFL500
x.x.x.2 - DFL804HV

Не установилась 2 фаза соединения, где могут быть ошибки?

Смотрите всё-таки настройки фазы 2. Усторойсва не смогли согласовать параметры второй фазы. Судя по логам, скорее всего несогласован Encrypt algorithm, так как в логе устройства его перебирают.
* Try to match with MODE:Tunnel PROTOCAL:Others AUTH:SHA1 HASH:Others PFS(Group):Others
* Try to match with MODE:Tunnel PROTOCAL:ESP-DES AUTH:SHA1 HASH:Others PFS(Group):Others
* Try to match with MODE:Tunnel PROTOCAL:ESP-3DES AUTH:SHA1 HASH:Others PFS(Group):Others

Я бы порекомендовал вам не только согласовать параметры 1-й и 2-й фазы между устройствами, а и между фазами. Т.е. выбрать одинаковый Encrypt algorithm и Auth algorithm в первой и второй фазе.

Кроме того не рекомендовал бы использовать протокол инкапсуляции AH, так как при этом не производится шифрование содержимого исходного пакета.

Также можно изменить прошивку на DI-804HV на 1.34. В ней существенно расширена функциональность.

Основная (пока) ошибка - DFL-500 не поддерживает AH, только ESP.

_________________
С уважением, Карагезов Владислав