Можно протянуть кабель между LAN-портами роутеров.
Затем два варианта:
1) Всю адресацию сети сделать единой (например, 192.168.1.0/24, роутеры будут 192.168.1.11 и 192.168.1.12, например). DHCP в роутерах отключить. Затем вручную прописать IP-адреса на ваших компьютерах, указав в качестве шлюзов собственнные модемы (например, на одном 192.168.1.21/24, шлюз/ДНС 192.168.1.11, на другом - 192.168.1.22/24, шлюз/ДНС 192.168.1.12).
2) Сделать на роутерах разную адресацию подсетей (например, один - 192.168.1.11/24, второй - 192.168.2.11/24, соответственно переключатся и DHCP-сервера на новые диапазоны). В DHCP сделать привязку MAC ваших сетевых карт к соответствующим IP. После этого компы будут в разных подсетях, НО - можно в свойствах сетевых карт добавить на интерфейсы вручную адреса из "не своей" подсети (например, ваш комп получает адрес 192.168.1.2, у соседа - 192.168.2.2, тогда прописываем вам еще доп.адрес 192.168.2.12, соседу - соответственно 192.168.1.12).
Вообще, в такой ситуации рекомендуется отказаться от использования DHCP-серверов, и назначать все адреса руками. В любом случае, вам все равно надо менять адресацию роутеров (они у вас сейчас по дефолту настроены на одинаковые параметры), так что и на компах можете адреса выставить руками. Я бы предпочел просто настроить разные подсети и дописать вторые IP-адреса. Вам может оказаться "удобнее" сделать единую адресацию (на ресурсы через "Сетевое окружение" хОдите?

)