So konnte das Problem lösen.
Habe alles erstmal wie ursprünglich aufgesetzt mit vserver, vpn usw. Die Lösung der ganzen Sache war ein 3cx sbc Server den ich noch zusätzlich aufgesetzt und eingerichtet habe im selben Netzt wie der Router. Funktioniert soweit ohne Probleme jetzt.
Habe alles erstmal wie ursprünglich aufgesetzt mit vserver, vpn usw. Die Lösung der ganzen Sache war ein 3cx sbc Server den ich noch zusätzlich aufgesetzt und eingerichtet habe im selben Netzt wie der Router. Funktioniert soweit ohne Probleme jetzt.