У провайдера есть своя локалка в которой куча компов с кучей полезной инфы, соответственно, когда я юзаю инет через кабель - я свободно по ним гуляю, как только l2tp поднимает мой роутер - я остаюсь с своей внутренней сети.
Подскажите, как реализовать доступ к локалке прова из моего роутера?

Это называется L2TP dual access
Зависит от того, что у вас за роутер