роутер вам в любом случае нужен
либо вы на одном из компьютеров (что хуже и неудобнее)
поднимаете NAT, как настроить хороши написано тут
http://smart-soft.ru/?page=ics (Траффик Инспектор можно не ставить. Брандмауер не отключать)
Либо докупаете нормальный роутер который позволит любому ноутбуку выйти в сеть независимо от другого.
Поскольку точка доступа для раздачи инета у вас уже есть, можно взять DI 604 (30$) включить туда кабель от провайдера, настроить интернет там, а в него уже включить точку для раздачи вашей собственной _локальной_ сети и интернета на ноутбуки.