Нужно на сервере выставить MTU к пример 1100-1200

Я правильно понял, что надо изменить Ipsec_Tunnels->Routing->Packet Sizes на 1100?

Нет именно на терминальной машине.

Может можно добиться желаемого результата меняя настройки на самих DFL-800?

Да, но только экспериментальным путём. Для начала нужно смоделировать проблему, отловить пакеты посылаемые клиентом и сервером. Сделать это без проблемы я не в силах.
Для этого нужна проблемма, воссаздать у меня её не получается. Могу только предполагать.
Я тестировал схему множество раз на связках xp-xp, xp-server2000, bsd6.0-server2000 но так и не добился воспроизводства проблемы.

Я изменил Ipsec_Tunnels->Routing->Packet Sizes с 1424 (по дефолту) на 1548 и увеличил TCP MSS Max до 1624. Еще поставил галку для SecuRemoteUDP Compability (прочел на каком-то форуме). Мне помогло. Все заработало. Боюсь теперь трогать . Может переборщил?

с MTU толно переборщили, но если работает, то проблем с фрагментацией у вас на узле нет. Но оверхеды большие...

Согласно комментария уважаемого Badger371 увеличил MMS и включил рекомендуемые фишки.
Должен сказать, что все (RDP) заработало.
Сейчас поеду смонтирую железку в реальной сети и пару дней потестирую.
После этого отпишу результаты сюда. )

Вы знаете, все работает с такими MSS.
))
Рад несказанно. От получения DFL-800 вместе зарплаты удалось отвертеться. ))