Какие настройки нужно сделать в DSL-2760U чтобы обеспечить максимум безопасности беспроводной сети?

используйте MAC Filter (пропишите mac адреса ваших устройств и разрешите только им работать в сети) и шифрование WPA2-AES

А ключ (пароль) который нужно задать - это RADIUS Key?
Сколько максимум символов? Каких - только буквы и цифры или можно и спецсимволы?

Нет, этот ключь используется для обмена информацией с внешним RADIUS сервером.
Выберите тип шифрования WPA2-personal(PSK)-AES: пароль нужно будет вводить в поле wpa pre-shared key (8-64 символа, цифры или английские буквы, без пробелов)

Что такое WPA Group Rekey Interval?
По умолчанию там стоит 0. А какие другие числа можно выставить и как это влияет на безопасность Wi-Fi?

Это время обновления ключа шифрования. Чем чаще обновляется ключ, тем меньше вероятность взлома сети.
Рекомендованное значения 3600 секунд.

Возникли вопросы:
1.Если выставлено значение =0, то ключ шифрования вообще не обновляется?
2. Речь идет о ключе, который я выставил в поле wpa pre-shared key?

1. не должен, проверю - напишу
2. нет, меняться будут ключи, сгенерированные на основе веденного вами pre-shared key

То есть при подключении к сети позднее любого Wi-Fi устройства я все равно использую ключ,который я выставил первоначально в поле wpa pre-shared key?

Или я должен как-то (как?) установить на момент подключения Wi-Fi устройства значение сгенерированного ключа и через него подключать?

Да.