Попробовал соединиться телнетом через putty, зашел в консоль с первого раза

C IPSEC решил проблему, установив такие параметры:

ISA

Phase I
Encryption 3DES
Authentication Type SHA
Группа Диффи-Хелмана Группа 2 (1024 бита)
проверка подлинности и создание нового ключа 1200 сек

Phase II
Encryption 3DES
Authentication Type SHA
Смена ключа каждые 600 сек
PFS Группа Диффи-Хелмана Группа 2 (1024 бита)

D-Link DSL-G804V
Proposal ESP
Encryption 3DES
Authentication Type SHA
Perfect Forward Secrecy MODP Group 2 (1024)

Опция Advanced Options
IPSec
IKE Mode main

IKE Proposal
Hash Function SHA1
Encryption 3DES
Diffie-Hellman Group MODP 1024 (Group 2)

SA Lifetime
Phase 1 (IKE) minutes 20
Phase 2 (IPSec) minutes 10

для второго туннеля увеличил время в 2 раза. Все работает отлично