Port 5001 blocked by DOS

[NTS]

Hallo zusammen
Ich habe eine 3cx Instanz v16 mit auf einer vSphere VM mittels iso installiert.
Sporadisch - ca. alle 60 min - ist der Port 5001 komplett geblockt und die Mobilen clients wie auch die Management Konsole ist nicht erreichbar.
Meine Analyse:
gem. dmesg auf der Konsole schlägt die iptables[DOS] Policy an:

[87695.575590] iptables[DOS]: IN=ens192 OUT= MAC=00:50:56:9b:16:a2:6c:41:6a:1f:54:64:08:00 SRC=91.189.y.x DST=100.110.120.130 LEN=76 TOS=0x00 PREC=0x00 TTL=55 ID=53821 DF PROTO=UDP SPT=123 DPT=39169 LEN=56

Unsere Pbx verfügt über eine public IP, natürlich hinter einer Firewall!
Wenn nun diese DOS policy zuschlägt werden sämtliche devices (Mobile App, web Client und Management) für ein paar Minuten disconnected.
... Klar eine Paket von UDP/123 ist seltsam, aber bei unserem Firewall admin in Arbeit.
Seltsam finde ich, dass sämtliche clients auf Port 5001 disconnected werden. Sollte nicht nur die IP 91.189.y.x geblockt werden?

Ich weiss nicht, ob dies im Zusammenhang steht, dass der firewall check bei Port 5060 und Port 5090 failed?! Diese zwei Ports sind auf unserer Firewall von aussen her geöffnet, und sollten erreichbar sein. Zumindest funktionieren mobile App und web Client.
Ebenfalls failen auch die "3CX Media Server" firewall checks. Müssten diese Ports eingehend auch noch geöffnet werden?

Da die Pbx über eine public IP verfügt, sollten wir mit NAT kein Problem haben.
Mir ist bekannt, dass ein Server mit einer Public IP im Volksmund speziell ist. Sollte aber für das iptables[DOS] Problem ja kein Problem sein!

Besten Dank für eure Antwort
Gruss A

 

[ilias_3CX]

Hallo NTS,

schau dir folgende Anleitungen an https://www.3cx.com/docs/manual/firewall-router-configuration/

04. Konfigurieren von Router und Firewall für Ihre 3CX-Telefonanlage

Erfahren Sie, wie Sie Router und Firewall für den SIP-Betrieb vorbereiten, damit sich SIP-Trunks und externe IP-Telefone an die 3CX-Anlage anbinden lassen.

www.3cx.de

 

[NTS]

Hi
Danke für deine Antwort!
Ich habe die Schritte von https://www.3cx.com/docs/manual/firewall-router-configuration/ kontrolliert, obwohl ich die 3cx iso verwendet habe. Siehe Satz: " If you are installing using 3CX ISO, then you need to do nothing. "
Ebenfalls die Firewall settings gem. deinem zweiten Link habe ich entsprechend gemacht.
Was mich irritiert sind die Service Ausfälle die sämtliche webclients auf Port 5001 betrifft!
Erhalten wir eine message in dmesg a la:

[87695.575590] iptables[DOS]: IN=ens192 OUT= MAC=00:50:56:9b:16:a2:6c:41:6a:1f:54:64:08:00 SRC=91.189.y.x DST=100.110.120.130 LEN=76 TOS=0x00 PREC=0x00 TTL=55 ID=53821 DF PROTO=UDP SPT=123 DPT=39169 LEN=56

werden alle clients unterbrochen und nicht nur die IP 91.189.y.x.

Danke und viele Grüsse
A

 

[NTS]

Hallo zusammen
Wir haben nun mal alle Firewall Ports deaktiviert, und sehen auch keine DOS Meldungen in "desmg".
Und trotzdem wird der Webclient so ca. alle 45min unterbrochen.
Der Client mit dem Webclient ist am LAN, und ist aktiv im Gebrauch. Von dem her ist ein Netzwerk Unterbruch auszuschliessen.
Ebenfalls das webmanagement wird während dieser Zeit unterbrochen.
Gibt es ein log, wo ich solche Unterbrüche sonst noch sehen kann?
... Finde in den 3cx Logs lediglich, dass sich die client ab- und wieder anmelden...

Vielen Dank für eure Unterstützung!
Langsam gehen mir die Ideen aus.
Gruss A

 

[ilias_3CX]

Hallo,

Was für ein verhalten hast du wenn du dem Webclient oder den 3CX Client Extern Provisionierst bzw. öffnest.
Du musst die Support daten der Anlage erstellen diese müssen aber zuvor im Ausführlichem Modus gesetzt werden und die Dienste neustarten.
Das ist keine HyperV Anlage richtig?

 

[rpappert]

Hallo,

wir haben genau das gleiche Phänomen, nur bei uns wird dann die Sprachqualität schlecht. Es ist, als ob die IPTables von Zeit zu Zeit die RTP Pakete droppen.

Wir haben hunderte Einträge dieser Art im Syslog:

Aug 20 18:20:16 srv-3cx kernel: [ 2209.652680] iptables[DOS]: IN=ens192 OUT= MAC=00:50:56:a5:af:38:00:e0:20:65:b7:9e:08:00 SRC=192.168.120.102 DST=192.168.118.2 LEN=60 TOS=0x00 PREC=0x00 TTL=63 ID=33120 DF PROTO=TCP SPT=51796 DPT=10050 WINDOW=2920 0 RES=0x00 SYN URGP=0

192.168.118.2 = IP der 3cx
192.168.118.3-254 = Telefone

Die Anlage ist als 3cx Debian Image frisch installiert worden, vor ca. einer Woche.

Vielen Dank im Voraus,
Rafael.

 

[NTS]

Hi ilias
Das Verhalten ist das selbe, wenn ich mit dem Webclient von extern eine Verbindung herstelle - in unregelmässigen Abständen wird die Verbindung unterbrochen. Dabei verwende ich Port 5001
Was dazu noch zu sagen ist, ist dass die Pbx 2 NICs hat. wobei die "interne" NIC ausschliesslich für Tischapparate dient und keinen gateway besitzt. Diese Telefone sind also nicht betroffen!
Ich gehe grundsätzlich von einem iptables issue aus, da ich als Antwort ein TCP Reset zurück bekomme.

Mit Support Daten der Anlage meinst du die Logs sammeln wie hier beschrieben? https://www.3cx.com/docs/collecting-logs-for-3cx-support/

Anschliessend ein " Generate support information package " erstellen? wo kann ich denn das ding hinschicken? ... denke mal mit den Daten kann ich nicht viel anfangen. Werde aber die Logs zu den gegebenen Zeitpunkten verrifizieren.

Wir verwenden vmware.

vielen Dank
A

 

[NTS]

Hallo zusammen
Ich habe die Log Daten gesammelt, und versucht zu interpretieren. Leider sehe ich keinen trigger der die reconnects auslöst.
@rpappert hast du schon Erfolg bei deinen Problemen gehabt?
... Hört sich ganz nach dem selben Problem an.

wir haben noch die aktuelle alpha Version installiert, leider ohne Erfolg.

... Wir möchten eigentlich gerne die Pbx produktiv nehmen, können dies leider mit solchen Problemen nicht..

Grüsse
A

 

[ilias_3CX]

Kannst du zum Test eine cloud anlage aufsetzen? Hast du das gleiche verhalten?

Ich gehe stark davon aus dass irgendwas im Netzwerk nicht stimmt.

 

[NTS]

Hi
Ich denke auch, dass es sich um ein Netzwerk Problem handelt.
Was mich jedoch irritiert ist, dass wenn die DOS policy zuschlägt, der gesammte traffic auf der NIC geblockt wird. Inkl. Port 5001 und 5090, 5060!
Sollte nicht lediglich der Traffic von der suspekten IP geblockt werden?

Ich hatte schon das Problem, dass ich mich versucht habe mit SSH anzumelden, und die DOS policy getriggert habe.

Ich denke da existieren zwei Probleme, unser Netzwerk und das Verhalten der pbx hinsichtlich dem blocken des traffic.

 

[rpappert]

Guten Tag,

wir haben das Problem auch nach wie vor. Unsere Logs waren voll mit DOS Meldungen. Ich habe jetzt einmal die IPTables Regel alle entfernt, mit dem Ergebnis, dass es besser ist. Ich bin allerdings nicht so ganz glücklich mit der Lösung. Es wäre schon, wenn das 3cx Team sich dem Thema mal annimmt.

Gruß,
RP.

 

[NTS]

Hallo
Ich denke langsam auch, dass das anpassen der iptables rules eine Variante - auch wenn nicht die schönste!! - ist!
Welche rule hast du entfernt? Diese da?

-A INPUT -m limit --limit 1/sec --limit-burst 100 -j LOG --log-prefix "iptables[DOS]: "

Wie gesagt, eine --limit rule ist ok! Aber das darf doch nicht gleich das gesamte Interface betreffen?!

Was ich auch noch festgestellt habe ist:
ICMP von einem Host aus dem selben Netz kann die 3cx Pbx immer anpingen. Hingegen der Gateway der Pbx kann nach einem DOS Paket für ca. 15 Sekunden nicht mehr angepingt werden.

Bin noch am schauen wie ein solches Verhalten zu erklären ist!

Grüsse
A

 

[rpappert]

Hallo,

ja genau, die Regel haben wir entfernt. Es ist als ob der UDP Stream im Moment des Loggings nicht mehr in der korrekten Reinfolge ankommt oder sich um den Dauer des Schreibvorgangs verzögert.

 

[NTS]

Hallo
ich denke es handelt sich nicht um eine Reihenfolge usw. ich denke einfach, dass der Stream mittels iptables geblockt wird.
Wir stellen das selbe mit den Softclients fest, welche für ca. 20 Sek. unterbrochen werden, wenn die DOS policy anschlägt.
Ich denke auch, dass sämtliche Ports auf dem Interface geblockt werden!
Soll heissen, wenn 3cx ein suspektes Paket - z.B. auf Port 123 - sieht, werden sämtliche Ports auf dem Interface kurz geblockt - auch Port 5060! ... Deshalb auch der Unterbruch des RTP streams.

Leider kann ich mein Anliegen nicht bei 3cx einkippen. Wir sind nun Community Member und kein reseller...
Wie könnte dieses Problem konkret bei 3cx dargelegt werden?

Gruss A

 

[rpappert]

Hallo,

dazu fällt mir noch ein, dass wir auch eine Zeit Probleme wie von Dir beschrieben hatten.
Das hatte damals mit dem NTP Dienst zu tun, läuft der bei Dir? Wenn ja, dann den Dienst mal
stoppen und statt dessen die Boardmittel von 3cx nutzen. Nach dem beenden des Dienstes war
das Problem mit den Unterbrechungen im Softclient sofort behoben.

Gruß,
RP.

 

[NTS]

Hy RP
Da wir 3cx mit dem ISO installiert haben, finde ich keinen Debian spezifischen NTS Service.
Welchen Service habt ihr gestoppt bzw. wie lautete das Kommando?
Was verstehst du unter 3cx Boardmittel? Hinsichtlich ntp Service?
Ich sehe vom Server effektiv "legitime" NTP requests mittels TCP dump auf die IP 217.147.208.1
Sehe aber nicht welchen Prozess dies anstösst. Ich habe in den 3cx Settings unseren internen NTP Server eingetragen. Dahin sehe ich hingegen keine NTP Anfragen...

Vielen Dank und Gruss
A

 

[rpappert]

Hallo,

wir hatten die 3cx auf ein eigenes Debian Image installiert, der Befehl zum anhalten von
NTP lautet:

service ntp stop

Gruß,
RP.

 

[NTS]

Ah ok, dadurch, dass wir das iso image installiert haben, sollte daher ja alles passen.

Ich suche noch weiter, denke aber, dass das Problem durchaus am Netzwerk bzw. der vorgelagerten Firewall liegt.

Gruss A

 

[NTS]

Hi
Ich konnte das Problem nun definitiv auf die Netzverbindung eingrenzen und auch das Problem lösen.
Gruess A