¿Puedo conectar mi servidor VPN al switch principal de la red LAN sin compartir la red VPN con todo?

Les detallo, tengo una red Lan donde debo implementar una VPN para piso 1 y 2 del edificio tengo un router VPN dedicado a esto que me sirve de servidor VPN, pero necesito que esos sectores se comuniquen también con los servidores principales ubicados en el cuarto de comunicaciones sin embargo tengo otros pisos del edificio conectados al switch principal donde pensaba conectar el router dedicado a VPN y no se si al hacer esto también los otros sectores comparten el acceso a la VPN cosa que no quiero. Puede ser esto posible? Como puedo solucionar el acceso de esos pisos de VPN a los servidores?