[Sammelthread] pfSense & OPNsense (Firewall- und Routing-Appliance)

*Inhalt gelöscht*

 

[Weltherrscher]

Habe keinen Hoster, will im Homelab LE certs haben

Weil ich keine Lust habe selfsigned certs auf alle clients auszurollen die meine services im lan nutzen

Ok, dann gehts nicht mit Wildcard-Zertifikaten, du"darfst" aber *jede* deiner Subdomänen einzeln in den Request eintragen.
So sollte es gehen, nur "*" geht ohne eingetragene Domäne halt nicht.

 

[toscdesign]

@Weltherrscher
Und das geht mit LetsEncrypt? Wie verifiziert der dann die Domain?

 

[Weltherrscher]

Du kannst doch mehrere "-d subdomain_x.domain.tld" Parameter an den Request anhängen und mittels TLS-ALPN- oder HTTP-Challenge das Zertifikat ziehen?
Musst dann halt das Token an jedem Server verfügbar haben.

Es reicht aber eigentlich eine und dann über URL zu reversen (domain.tld/service).
Wobei genau das bei mir so blöd stressig war, weil mache Services einfach so nicht gehen.

 

[toscdesign]

domain.tld

Er hat ja keine richtige Domain soweit ich das verstanden habe hat er nur interne gemacht sowas wie "wurst.wasser" und nicht "wurst.wasser.de"

 

[Weltherrscher]

Genau das geht doch mit den HTTP-Challenges?
Solange unter wurst.wasser der Pfad dahinter mit dem Token passt, stellt LE dir dafür ein Zertifikat aus.

 

[toscdesign]

@Weltherrscher
Ok, das es mit HTTP Challange geht, wusste ich nicht.
Bringt aber wenig, wenn man keine Ports öffnen möchte und daher DNS Challange nutzt.

 

[BobbyD]

OPNsense 25.7.6 released

Please be aware that during the update check the new package manager will be
installed, but will fail to report the update status like it always had before
and so you will end up with an error that will require checking for updates
again. The fix is in is update, but impossible to install without upgrading
the package manager first. We hope this will only be a minor inconvenience
during the process.

 

[toscdesign]

Hä?
Also nicht updaten und warten bis das gefixed ist?

 

[BobbyD]

Also nicht updaten und warten bis das gefixed ist?

Ne. Nur nicht wundern, wenn es ein, zwei Fehlermeldungen gibt, bis das Update installiert ist. Das Problemchen ist schon im System und wird mit diesem Update erst behoben.

 

[Tundor]

Hatte (mutmaßlich) Probleme mit der pfSense und musste daher mal testweise neu installieren. Hab dann in dem Zuge jetzt gleich mal OPNSense installiert zum testen und wow ist das Interface topmodern im Vergleich zu pfSense Einrichtung ging sehr zügig, scheint jetzt alles wieder so zu laufen wie es soll, bis auf ein paar Details.

 

[Tundor]

Leider hat sich mein Problem nicht gelöst, vlt. hat hier ja jemand eine Idee wie ich am besten weiter vorgehe.

Erstmal zum Problem: Ich hab immer wieder über den Tag verteilt Internetaussetzer. D.h. Webseiten öffnen sich für ein paar Sekunden nicht mehr, wenn ich z.B. im Home Office arbeite hab ich häufig komplette Aussetzer bei Video Calls für mehrere Sekunden (teilweise Minuten) alle paar Sekunden. Ich dachte zuerst, dass mein Provider Probleme macht, aber das ganze geht jetzt schon länger so und nach Rückfrage in meinem Haus bei den Nachbarn, bei denen scheinbar alles bestens läuft, hab ich jetzt mein Setup im Verdacht und entsprechend bin ich jetzt auf Fehlersuche. Testweise habe ich am Freitag das WiFi der FB angemacht und bin ohne Umwege mit meinem Arbeitsmacbook direkt darüber Verbunden gewesen. Tatsächlich hatte ich den ganzen Tag keine Aussetzer. Kann jetzt Zufall gewesen sein, werde das die nächsten Tage weiter testen aber ist für mich schonmal ein erster Indikator weiterhin das lokale Setup zu verdächtigen.

Mein grober Verdacht ist, dass es mit der Namensauflösung sporadisch Probleme gibt, denn meistens bekomme ich nen DNS Probe Fehler im Browser wenn die Seiten sich nicht öffnen. Auch NSLookup schmeißt dann gerne nen Fehler und gibt mir nichts zurück, während direkt Pings auf ne externe IP (z.B. 1.1.1.1 etc.) funktionieren, auch mit einer niedrigen Latenz.

Meine Setup ist eigentlich nichts besonderes, hab ne FB6990 am Kabelanschluss, die opnsense ist als exposed Host eingetragen, WAN Interface wird via DHCP von der FB zugewiesen.

Ich hab 2 Managed Switches (XMG1915-10E) und 2 WiFi APs im Netz (Zyxel BE11000). Die opnSense läuft auf ner Aliexpress N100 Kiste.

Auf der opnSense läuft Unbound DNS

Ich hab Query Forwarding auf meinen pihole drin welcher auf nem Docker Container auf meiner Truenas läuft. Das Setup ist relativ neu, hatte vorher immer NextDNS direkt eingetragen (mit dem gleichen Problem). Im Pihole hab ich Quad 9 und Cloudfare als Upstream aktiviert.

Beim pihole scheinen die ganzen DNS requests auch anzukommen denn immer wenn mal wieder ein Ausfall ist, sehe ich im Log, dass die DNS Requests sich bei ihm stapeln, der scheint dann auch nicht mehr rauszukommen.

Merkwürdig ist halt, z.B. dass ich ein ähnliches Problem auf der pFSense auch schon hatte, deswegen hab ich jetzt opnSense installiert. Entweder ich hab jetzt wieder den gleichen Murks konfiguriert, oder das Problem liegt evtl. an ner anderen falschen Konfiguration oder ggf. sogar an einer anderen Hardware (unter der Annahme, dass es wirklich kein Problem vom Provider ist, werde das wie gesagt die kommende Woche weiterhin testen). Das Kabel zwischen Fritzbox und pfSense hatte ich auch im Verdacht (ist ein selbst gecrimptes) das hab ich jetzt testweise ausgetauscht und das Problem ist immer noch da. An der Fritzbox selber gibt es ja quasi nichts zum einstellen, denke dass dort der Fehler liegt, kann man ausschließen, oder gibt es hier was das ich noch checken sollte? Gibt es typische Einstellungen im Managed switch die ich checken sollte?

Bin für jeden Hinweis dankbar, falls Infos fehlen liefere ich sie gerne nach, wollte den Post jetzt auch nicht überstrapazieren.

 

[AliManali]

Wenn Du keine Verbindung mehr hast, mal ein Tracert absetzen. Kannst die CMD mit dem Befehl

tracert hardwareluxx.de

ja gleich offen lassen.

 

[BobbyD]

Bin für jeden Hinweis dankbar

Könnte ein Problem mit dynamischem-IPv6 sein, damit haben Sensen ja so ihre Probleme. Zum Testen IPv6 komplett deaktivieren. Wenn es dann verschwindet, kann man noch was fein-tunen um IPv6 wieder zu aktivieren.
Andererseits könnte es auch alles mögliche sein.

 

[sch4kal]

Its always DNS... trage doch mal auf deinen Systemen einen anderen DNS als deinen Unbound Resolver ein, z.B. Quad9 oä.
Wenn es dann immer läuft, hast deinen Schuldigen. Würde viel drauf wetten, das DNS bei dir der Verursacher ist.

 

[Tundor]

Andererseits könnte es auch alles mögliche sein.

Ja leider 😭 Aber auf jeden Fall ist das mal ein Test wert, danke. Hab es mal umgestellt, bei allen Interfaces (IPV6 war vorher auf Track Interface gestellt) ist es jetzt so:

Und bei WAN hatte ich vorher DHCPV6 drin (jetzt auf none).

Bei der FritzBox hab ich die Einstellungen drin, kann das bleiben? Dürfte ja mit der Sense nichts mehr zu tun haben wenn ich dort im Interface IPv6 deaktiviert habe?

Dass ich weiterhin unter Windows ne IPV6 Adresse am Adapter habe ist vermutlich normal, weißt das OS die zu?

trage doch mal auf deinen Systemen einen anderen DNS als deinen Unbound Resolver ein, z.B. Quad9 oä.

Ich hatte vorher nen externen DNS eingetragen und das Verhalten war leider das gleiche. Das PiHole Setup ist wie gesagt ganz neu (und hat die Situation offensichtlich weder verschlimmert noch verbessert )

Würde viel drauf wetten, das DNS bei dir der Verursacher ist.

Ich auch

*edit*

So sehen die Einstellungen in unbound aus, Prefer IPv4 ist gesetzt, aber keine Ahnung ob das überhaupt ne Auswirkung hat wenn ich bei Query Forwarding was eingetragen haben?

 

[BobbyD]

Dass ich weiterhin unter Windows ne IPV6 Adresse am Adapter habe ist vermutlich normal, weißt das OS die zu?

Ist zumindest unschön, wenn das öffentliche sind. Mal den Adapter deaktivieren oder ähnliches machen (im Gerätemanager die NICs löschen, aber nicht die Treiber), bis die verschwinden.

 

[Tundor]

Als Host + Domain habe ich bei opnsense opnsense.internal eingetragen. Zusätzlich, hab ich ne dyndns domain von ipv64.net als override in unbound auf die IP von opnsense hinterlegt (um darauf die acme challenge mit zertifikat zu machen, damit ich mich darüber sauber einloggen kann). Kann das irgendwelche negativen auswirkungen haben? Wenn ich nen nslookup mache, wird mir diese domain immer als server angezeigt, ich nehme an, weil er das so aus dem unbound override zieht? Ich hab den override jetzt auch mal entfernt, nur um sicher zu gehen. Aber das scheint ja häufig so genutzt zu werden, vermute also, dass das keine Auswirkung haben sollte? Jetzt steht als Server halt unknown drin

Achso, vorher als ich mal wieder nen timeout hatte kam das zurück. Also es scheint dann wohl mutmaßlich nichtmal bis zur opnsense durchzukommen bzw. dort keine Antwort zu kommen? Das war bevor ich den override entfernt hatte, d.h. wenn der request hier beantwortet wurde, stand bei Server eigentlich die domain drin, in dem Fall hier hat er wohl wirklich gar nichts zurück bekommen.

nslookup hardwareluxx.de
DNS request timed out.
timeout was 2 seconds.
Server: UnKnown
Address: 10.0.10.1

DNS request timed out.
timeout was 2 seconds.
Nicht autorisierende Antwort:
Name: hardwareluxx.de
Addresses: 2606:4700:10::6814:2236
2606:4700:10::ac42:a9c2
172.66.169.194
104.20.34.54

 

[AliManali]

Dann mach das nächste mal

tracert 8.8.8.8

 

[Tundor]

Ich war zu langsam, da gings schon wieder

 

[Tundor]

Ich werf das ganze jetzt echt bald zum Fenster raus
Gerade war plötzlich wieder alles total langsam.

Speedtest gemacht). Ganz normal über die Sense verbunden:

PC umgesteckt, direkt über den 2,5Gbit port von der FB6690:

Internet läuft also prinzipiell

Dann wieder an die Sense, Speedtest auf die Truenas gemacht:

Läuft prinzipiell also auch, aber dann ist mir eingefallen, dass ich ja im gleichen VLAN 10 bin und die Sense da eigentlich gar nix zu tun hat weil es direkt über den Switch geht.

Also Rechner an nen anderen Port ins Management LAN (1):

Frage mich ob es irgendwas mit der Hardware zu tun hat und ich diese Aliexpress Kiste einfach auf den Mond schießen sollte

 

[andrer250282]

IDS/IPS aktiv? Squid?
Wären so meine ersten Kandidaten die gut Last erzeugen können
Ansonsten was sagt denn die Auslastung auf der Sense während des Speedtests?

 

[Tundor]

IDS/IPS aktiv? Squid?

Ne ist alles deaktiviert.

Ansonsten was sagt denn die Auslastung auf der Sense während des Speedtests?

Unter 10% Auslastung. Die Kiste ja nen N100, der hat da gar nichts zu tun.

 

[andrer250282]

Ich hatte mal gelesen - aber leider keine eigene Bestätigung - das PPPoE Verbindungen auf der Sense nur auf einem Kern laufen. Da wäre eine CPU wie der n100 natürlich suboptimal.
Ist denn beim Speedtest die Last auf den Kernen verteilt oder schlägt einer aus?

Beitrag automatisch zusammengeführt: Montag um 22:53

Nachtrag... Routen? Asymmetrisches Routen evtl? Sind deine Clients, die Sense und die Fritzbox im gleichen Netz?
Das ergibt auch die sinnlosesten Phänomene

Kannst du sonst mal deinen Netzaufbau grob erklären?

 

[Tundor]

Ich hab keine PPPoE Verbindung, dahinter hängt ne Fritzbox und die hängt am Kabelanschluss. Normalerweise schafft die auch die 1,8GBit, ich hab sie ja schon länger im Einsatz. Heute den ganzen Tag lief es auch, jetzt plötzlich ist wieder alles komplett lahm. Wg. den Cores schau ich trotzdem morgen nochmal aber ich bin mir relativ sicher, dass das nicht das Problem ist.

 

[andrer250282]

Ach so, das ist kein Problem von Anfang an.
Hm, es gibt speedtest-cli für die Sense...wäre mal ein Versuch zu prüfen an welcher Stelle des Netzwerks es auftritt.

Hast du während es langsam ist im live View viele Pakete im Status "Default deny/State Violation"?
Interessant wären vor allem Pakete für deren Quellen/Ziele es Allow-Regeln gibt.

 

[Tundor]

Schau ich morgen nochmal im Detail, aber jetzt beispielsweise auf meinem Produktiv VLan hab ich momentan zu testzwecken einfach nur ne eine Regel aktiv und das ist Allow any to any, d.h. da dürfte nix geblockt werden.

Beitrag automatisch zusammengeführt: Montag um 23:22

Kannst du sonst mal deinen Netzaufbau grob erklären?

Mach ich auch gerne morgen

 

[andrer250282]

Mir geht's dabei gar nicht so sehr um blocken sondern um State Violation.
Asymmetrische Routen haben mich auch schon graue Haare gekostet, es geht dann nicht dann ja , dann langsam....Ping immer super (aber icmp ist ja auch stateless).
Daher auch meine Frage nach deinem Netzaufbau oben

 

[Weltherrscher]

Das ist der Grund, weshalb ich den ganzen L3-Kram auf den Switchen abgeschaltet hab, lass mal die sense alles routen...

 

[Tundor]

State Violation

State Violations sehe ich tatsächlich einige im Live view, betrifft wohl vor allem das WAN Interface? Ist das was du meinst? Hab hier mal nach dem Label gefiltert. Ich hab jetzt aber z.B. während dem internern Speed Test auf den ersten Blick nichts von internen Interfaces gesehen, oder muss ich da nochmal irgendwas speziell im Logging anschalten damit es hier auftaucht?

Meine erste Erkenntnis daraus:
- Ich hatte keine WAN block all rule eingerichtet, hab ich jetzt gemacht, jetzt ist ruhe
- Ich hatte auf dem WAN-Interface "Block Private Networks" aktiv, das sollte aber deaktiviert werden wenn ich die Fritzbox davor habe die in ner privaten Range liegt?

So am Problem hat es leider nichts gelöst, gerade nochmal Speedtest geprüft aus meinem anderen VLAN und immernoch unterirdisch -_-


Mein Setup ist grob so:


Fritzbox -> (exposed Host) opnSense -> XMG1915-10E

An diesem hängt dann die Truenas + der Zyxel WiFi AP, außerdem hab ich hier über den SFP+ Uplingknoch nen zweiten XMG1915-10E der in meinem Arbeitszimmer steht, dort hängt dann der PC etc. dran.
Ist vermutlich hierfür jetzt nicht relevant, aber dann hab ich noch nen zweiten WiFi AP im Wohnzimmer (über WiFi Mesh), dort hängt dann noch ein einfacher 1GBit managed switch dahinter und daran das ganze Infotainment Zeug.

 

[andrer250282]

Mein Setup ist grob so:


Fritzbox -> (exposed Host) opnSense -> XMG1915-10E

Kannst du mal die Netzbereiche mit dazu schreiben?
Also Fritzbox LAN ist 192.168.178.0/24 - das ist im SCreenshot zu sehen
Wie ist die Sense WAN? Wie ist die Sense LAN? Wo hängen die Clients?