Merge branch 'internetstandards:main' into main

Author: apio-sys

Changelog.md

@@ -20,10 +20,16 @@ _Compared to the latest 1.10 release._
 
 - ...
 
+## 1.10.5
+
+- Fixed an issue in 1.10.x where [DNSSEC test could return false negatives](https://github.com/internetstandards/Internet.nl/issues/1869)
+  due to an interaction between cached responses and the CD and AD flags.
+- Added news post.
+
 ## 1.10.4
 
 - Updated our security.txt.
-- Updated Django
+- Updated Django version.
 
 ## 1.10.3
 

checks/resolver.py

@@ -4,13 +4,12 @@
 import dns
 from django.conf import settings
 from dns.edns import EDECode
-from dns.exception import ValidationFailure
 from dns.flags import Flag, EDNSFlag
 from dns.message import Message, make_query
 from dns.query import udp_with_fallback
 from dns.rdatatype import RdataType
 from dns.rdtypes.ANY import TLSA, CAA
-from dns.resolver import Resolver, NXDOMAIN, NoAnswer
+from dns.resolver import Resolver, NXDOMAIN, NoAnswer, NoNameservers
 import socket
 
 DNS_TIMEOUT = 5
@@ -41,44 +40,44 @@ def from_message(cls, message: Message):
         return cls(DNSSECStatus.INSECURE)
 
 
-def dns_resolve_a(qname: str, allow_bogus=True) -> list[str]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.A, allow_bogus)
+def dns_resolve_a(qname: str) -> list[str]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.A)
     return [rr.address for rr in rrset]
 
 
-def dns_resolve_aaaa(qname: str, allow_bogus=True) -> list[str]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.AAAA, allow_bogus)
+def dns_resolve_aaaa(qname: str) -> list[str]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.AAAA)
     return [rr.address for rr in rrset]
 
 
-def dns_resolve_mx(qname: str, allow_bogus=True) -> list[tuple[str, int]]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.MX, allow_bogus)
+def dns_resolve_mx(qname: str) -> list[tuple[str, int]]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.MX)
     return [(str(rr.exchange), rr.preference) for rr in rrset]
 
 
-def dns_resolve_ns(qname: str, allow_bogus=True) -> list[str]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.NS, allow_bogus)
+def dns_resolve_ns(qname: str) -> list[str]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.NS)
     return [str(rr.target) for rr in rrset]
 
 
-def dns_resolve_tlsa(qname: str, allow_bogus=True) -> tuple[list[TLSA], DNSSECStatus]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.TLSA, allow_bogus)
+def dns_resolve_tlsa(qname: str) -> tuple[list[TLSA], DNSSECStatus]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.TLSA, guarantee_accurate_secure=True)
     return rrset, dnssec_status
 
 
-def dns_resolve_txt(qname: str, allow_bogus=True) -> list[str]:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.TXT, allow_bogus)
+def dns_resolve_txt(qname: str) -> list[str]:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.TXT)
     return ["".join([dns.rdata._escapify(s) for s in rr.strings]) for rr in rrset]
 
 
-def dns_resolve_spf(qname: str, allow_bogus=True) -> Optional[str]:
-    strings = dns_resolve_txt(qname, allow_bogus)
+def dns_resolve_spf(qname: str) -> Optional[str]:
+    strings = dns_resolve_txt(qname)
     spf_records = [s for s in strings if s.lower().startswith("v=spf1")]
     return spf_records[0] if len(spf_records) == 1 else None
 
 
-def dns_resolve_soa(qname: str, allow_bogus=True, raise_on_no_answer=True) -> DNSSECStatus:
-    rrset, dnssec_status = dns_resolve(qname, RdataType.SOA, allow_bogus, raise_on_no_answer)
+def dns_resolve_soa(qname: str, raise_on_no_answer=True) -> DNSSECStatus:
+    rrset, dnssec_status = dns_resolve(qname, RdataType.SOA, raise_on_no_answer, guarantee_accurate_secure=True)
     return dnssec_status
 
 
@@ -89,7 +88,9 @@ def dns_resolve_caa(qname: str) -> tuple[str, Iterable[CAA.CAA]]:
     """
     while True:
         try:
-            answer = _get_resolver().resolve(dns.name.from_text(qname), RdataType.CAA, raise_on_no_answer=True)
+            answer = _get_resolver(cd_flag=True).resolve(
+                dns.name.from_text(qname), RdataType.CAA, raise_on_no_answer=True
+            )
             return str(answer.canonical_name), answer.rrset
         except (NoAnswer, NXDOMAIN):
             qname = dns_climb_tree(qname)
@@ -98,7 +99,7 @@ def dns_resolve_caa(qname: str) -> tuple[str, Iterable[CAA.CAA]]:
 
 
 def dns_resolve_reverse(ipaddr: str) -> list[str]:
-    answer = _get_resolver().resolve_address(ipaddr)
+    answer = _get_resolver(cd_flag=True).resolve_address(ipaddr)
     return [rr.to_text() for rr in answer.rrset]
 
 
@@ -111,11 +112,32 @@ def dns_check_ns_connectivity(probe_qname: str, target_ip: str, port: int = 53)
         return False
 
 
-def dns_resolve(qname: str, rr_type: RdataType, allow_bogus=True, raise_on_no_answer=True):
-    answer = _get_resolver().resolve(dns.name.from_text(qname), rr_type, raise_on_no_answer=raise_on_no_answer)
-    dnssec_status = DNSSECStatus.from_message(answer.response)
-    if dnssec_status == DNSSECStatus.BOGUS and not allow_bogus:
-        raise ValidationFailure()
+def dns_resolve(qname: str, rr_type: RdataType, raise_on_no_answer=True, guarantee_accurate_secure=False):
+    """
+    Resolve the provided qname/record type.
+    Returns the RRset and the DNSSEC status, with a caveat.
+
+    raise_on_no_answer: if True, raises NoAnswer for no answer, if False, no exception raised
+
+    guarantee_accurate_secure:
+    Certain caching scenarios may lead us to falsely mark a response as insecure, when it is secure,
+    due to a missing AD bit when a response for the same qname was cached to resolve a different query,
+    in combination with our CD flag.
+    This is OK in most cases, but when it is not, we need to do a double query to prevent this,
+    enabled with guarantee_accurate_secure=True.
+    https://github.com/internetstandards/Internet.nl/issues/1869
+    """
+    resolve_params = {"qname": dns.name.from_text(qname), "rdtype": rr_type, "raise_on_no_answer": raise_on_no_answer}
+    if guarantee_accurate_secure:
+        try:
+            answer = _get_resolver(cd_flag=False).resolve(**resolve_params)
+            dnssec_status = DNSSECStatus.from_message(answer.response)
+        except NoNameservers:  # dnspython's translation for servfail
+            answer = _get_resolver(cd_flag=True).resolve(**resolve_params)
+            dnssec_status = DNSSECStatus.BOGUS
+    else:
+        answer = _get_resolver(cd_flag=True).resolve(**resolve_params)
+        dnssec_status = DNSSECStatus.from_message(answer.response)
     return answer.rrset, dnssec_status
 
 
@@ -126,22 +148,29 @@ def dns_climb_tree(qname: str) -> Optional[str]:
     return parent.to_text()
 
 
-_resolver = None
+_resolver_without_cd = None
+_resolver_with_cd = None
 
 
-def _get_resolver():
+def _get_resolver(cd_flag: bool):
     # Resolvers are thread safe once configured
-    global _resolver
-    if not _resolver:
-        _resolver = _create_resolver()
-    return _resolver
-
-
-def _create_resolver() -> Resolver:
+    global _resolver_with_cd
+    if not _resolver_with_cd:
+        _resolver_with_cd = _create_resolver(cd_flag=True)
+    global _resolver_without_cd
+    if not _resolver_without_cd:
+        _resolver_without_cd = _create_resolver(cd_flag=False)
+    if cd_flag:
+        return _resolver_with_cd
+    return _resolver_without_cd
+
+
+def _create_resolver(cd_flag: bool) -> Resolver:
     resolver = Resolver(configure=False)
     resolver.nameservers = [socket.gethostbyname(settings.RESOLVER_INTERNAL_VALIDATING)]
     resolver.edns = True
-    resolver.flags = Flag.CD
+    if cd_flag:
+        resolver.flags = Flag.CD
     resolver.ednsflags = EDNSFlag.DO
     resolver.lifetime = DNS_TIMEOUT
     return resolver

translations/en/main.po

@@ -9,7 +9,7 @@ msgstr ""
 "Project-Id-Version: PACKAGE VERSION\n"
 "Report-Msgid-Bugs-To: \n"
 "POT-Creation-Date: 2015-02-16 23:27+0100\n"
-"PO-Revision-Date: 2025-06-08 18:07:12.983915\n"
+"PO-Revision-Date: 2025-10-03 10:27:32.303872\n"
 "Last-Translator: \n"
 "Language-Team: \n"
 "Language: \n"
@@ -1923,6 +1923,9 @@ msgstr "Error: Invalid 'contactemail' value \"{property_value}\""
 msgid "detail tech data caa invalid-property-contactphone-value"
 msgstr "Error: Invalid 'contactphone' value \"{property_value}\""
 
+msgid "detail tech data caa invalid-property-encoding"
+msgstr "Error: Invalid encoding in '{property_name}'"
+
 msgid "detail tech data caa invalid-property-iodef-value"
 msgstr "Error: Invalid 'iodef' value \"{property_value}\""
 
@@ -1935,9 +1938,6 @@ msgstr ""
 "{invalid_character_position} in '{property_name}' value \"{property_value}\""
 " "
 
-msgid "detail tech data caa invalid-property-encoding"
-msgstr "Error: Invalid encoding in '{property_name}'"
-
 msgid "detail tech data caa invalid-reserved-property"
 msgstr "Error: Invalid reserved property \"{property_tag}\""
 

translations/nl/main.po

@@ -9,7 +9,7 @@ msgstr ""
 "Project-Id-Version: PACKAGE VERSION\n"
 "Report-Msgid-Bugs-To: \n"
 "POT-Creation-Date: 2015-02-16 23:27+0100\n"
-"PO-Revision-Date: 2025-06-08 18:07:12.857023\n"
+"PO-Revision-Date: 2025-10-03 10:27:32.187405\n"
 "Last-Translator: \n"
 "Language-Team: \n"
 "Language: \n"
@@ -1932,6 +1932,9 @@ msgstr "Fout: Ongeldige 'contactemail'-waarde \"{property_value}\""
 msgid "detail tech data caa invalid-property-contactphone-value"
 msgstr "Fout: Ongeldige 'contactphone'-waarde \"{property_value}\""
 
+msgid "detail tech data caa invalid-property-encoding"
+msgstr "Fout: Ongeldige encoding in '{property_name}'"
+
 msgid "detail tech data caa invalid-property-iodef-value"
 msgstr "Fout: Ongeldige 'iodef'-waarde \"{property_value}\""
 
@@ -1944,9 +1947,6 @@ msgstr ""
 "{invalid_character_position} in '{property_name}'-waarde "
 "\"{property_value}\""
 
-msgid "detail tech data caa invalid-property-encoding"
-msgstr "Fout: Ongeldige encoding in '{property_name}'"
-
 msgid "detail tech data caa invalid-reserved-property"
 msgstr "Fout: Ongeldige gereserveerde property \"{property_tag}\""
 

translations/nl/news.po

@@ -4,6 +4,7 @@ msgstr ""
 
 msgid "article .index"
 msgstr ""
+"plis-meeting-sept-2025\n"
 "release-1.10\n"
 "release-1.9\n"
 "terugblik-10-jarig-jubileum\n"
@@ -1146,6 +1147,81 @@ msgstr ""
 msgid "article paneldiscussie-the-power-of-internet-standards title"
 msgstr "Paneldiscussie: The Power of Internet Standards"
 
+msgid "article plis-meeting-sept-2025 body"
+msgstr ""
+"## Introductie van ECP\n"
+"Céline van der Kruk, hoofd Communicatie bij ECP, gaf een introductie van ECP, de administratieve basis van het Platform Internetstandaarden.\n"
+" \n"
+"[ECP](https://ecp.nl/) is een onafhankelijk en neutraal platform dat publiek-private samenwerking organiseert rondom uiteenlopende digitaliseringsthema’s, waaronder digitale veiligheid en vertrouwen. ECP voert jaarlijks tientallen projecten uit en werkt hierbij samen met honderden partners.\n"
+" \n"
+"Daarnaast organiseert ECP veel evenementen. Op de agenda voor dit jaar staan bijvoorbeeld nog de [kick-off van de Cybersecuritymaand](https://alertonline.veiliginternetten.nl/dit-doet-ons-netwerk/kick-off-cybersecuritymaand/) (oktober) door Alert Online op  29 september, het [ECP Jaarfestival](https://ecp.nl/ecp-jaarfestival/) op 20 november en de ECP Eindejaarssociëteit in december. Ook biedt ECP ondersteuning bij de organisatie van de [ONE Conference](https://one-conference.nl/) op 30 september en 1 oktober.\n"
+" \n"
+"Het Platform Internetstandaarden test regelmatig of websites, e-mail en internetverbindingen van bezoekers aan ECP-evenementen voldoen aan moderne internetstandaarden. Ook delen we nieuws van het platform in de ECP-nieuwsbrieven. We zijn op zoek naar hoe we de samenwerking tussen het platform en ECP nog verder kunnen versterken. Ideeën zijn altijd welkom!\n"
+"\n"
+"## Update over MANRS\n"
+"Andrei Robachevsky, Technical Director van het Internet Integrity program van de Global Cyber Alliance (GCA), gaf een update over MANRS.\n"
+"\n"
+"[Mutually Agreed Norms for Routing Security (MANRS)](https://manrs.org/) is een wereldwijd initiatief dat het internet helpt beschermen tegen de meest voorkomende routing-bedreigingen. Dit initiatief werd in 2014 opgezet door de Internet Society, die het secretariaat en de operationele taken in januari 2024 heeft overgedragen aan de Global Cyber Alliance (GCA).\n"
+"\n"
+"MANRS biedt basiseisen, ‘acties’ genoemd, die zijn georganiseerd in [programma’s](https://manrs.org/programs/) voor verschillende doelgroepen. Het begon met een programma voor Network Operators en is later uitgebreid met programma’s voor Internet Exchange Points, CDN en Cloud Providers en Equipment Vendors.\n"
+"\n"
+"Deelnemers aan MANRS verbinden zich aan het uitvoeren van de acties, waarbij de juiste implementatie wordt gemeten en gepubliceerd via het [MANRS Observatory](https://observatory.manrs.org/#/overview). De community groeit al jaren gestaag: wereldwijd doen inmiddels meer dan 1.200 organisaties mee.\n"
+"\n"
+"Er wordt gewerkt aan [MANRS+](https://manrs.org/about/manrs-working-group/), een initiatief dat is opgezet om tegemoet te komen aan de wensen van ondernemingen voor betere beveiliging van internetverkeer. Zo kunnen organisaties bijvoorbeeld hun communicatieketen beter beschermen en makkelijker kiezen voor aanbieders die actief werk maken van veilige internetroutes door MANRS+ te ondersteunen.\n"
+"\n"
+"De MANRS+ werkgroep heeft al een overzicht van [maatregelen](https://manrs.org/wp-content/uploads/2025/02/MANRS-Controls-20250204.pdf) opgesteld en in samenwerking met SIDN Labs een eerste [prototype](https://manrs.org/2025/09/manrs-assessing-the-feasibility-of-routing-security-compliance-tests/) ontwikkeld om te testen of aanbieders aan deze eisen voldoen. Er worden nu organisaties gezocht die willen meedoen aan een praktijkproef. Ook wordt nagedacht over een nieuw programma, speciaal voor zakelijke gebruikers die hoge eisen stellen aan routingveiligheid.\n"
+"\n"
+"Ten slotte is het proces voor het ontwikkelen en wijzigen van MANRS-standaarden officieel vastgelegd. Dit [MANRS Development Process](https://manrs.org/manrs-development-process/) is een bottom-up, op consensus gebaseerd proces, waaraan alle leden van de MANRS-community kunnen bijdragen. Het proces is ook gebruikt om het [MANRS Community Charter](https://manrs.org/about/governance/community-charter/) te actualiseren.\n"
+"\n"
+"## Terugblik en vooruitblik op evenementen\n"
+"De vorige bijeenkomst van het Platform Internetstandaarden vond plaats op 19 juni 2025 bij SURF in Utrecht. Sindsdien waren platformleden actief bij diverse externe evenementen, als organisator, spreker of bezoeker.\n"
+"\n"
+"Alena Muravska (RIPE NCC) nam deel aan IGF 2025 op 24 juni in Lillestrøm, Noorwegen, waar zij bijdroeg aan de [lancering van de Global Internet Standards Testing Community (GISTC)](https://intgovforum.org/en/content/igf-2025-launch-award-event-96-empower-the-global-internet-standards-testing-community).\n"
+"\n"
+"Elger Jonker (Internet.nl) en Benjamin Broersma (Forum Standaardisatie) waren aanwezig bij WHY2025 van 8 tot 12 augustus 2025 in Geestmerambacht. Elger verzorgde de sessie ‘[How we made the Netherlands more secure and accessible using transparency](https://program.why2025.org/why2025/talk/3ZMKFQ/)’, Benjamin gaf de sessie ‘[How (not) to configure your domainname [internet.nl]](https://program.why2025.org/why2025/talk/XVET7C/)’.\n"
+"\n"
+"Aan de [Dag van de Domeinnaam 2025](https://www.verenigingvanregistrars.nl/dag-van-de-domeinnaam/) op 16 september in Amsterdam namen Benjamin Broersma en Marco Hogewoning (Ministerie van Economische Zaken) deel. Dit jaar waren er voor het eerst mini-interviews met experts uit het veld, waaraan Benjamin deelnam namens het Platform Internetstandaarden. Ook is gemeten of de  websites, e-mail en internetverbindingen van bezoekers voldeden aan moderne internetstandaarden.\n"
+"\n"
+"Vooruitkijkend staan er ook weer belangrijke evenementen op de agenda, zoals [OARC 43](https://indico.dns-oarc.net/event/51/) (26 en 27 september), [NLNOG Day 2025](https://nlnog.net/nlnog-day-2025/) (30 september), [ONE Conference](https://one-conference.nl/) (30 september en 1 oktober), [SEEDIG 10](https://seedig.net/seedig-10/) (10 en 11 oktober), [ICANN84](https://meetings.icann.org/en/meetings/icann84/) (25 tot 30 oktober), [RIPE 91](https://www.ripe.net/meetings/calendar/ripe-91/) (20 tot 24 oktober) en [IETF 124](https://www.ietf.org/meeting/124/) (1 tot 7 november).\n"
+"\n"
+"## Ontwikkelingen rond Internet.nl\n"
+"Benjamin Broersma, adviseur bij Forum Standaardisatie, en Elger Jonker, ontwikkelaar van het Internet.nl-dashboard, gaven een update over actuele ontwikkelingen rond Internet.nl.\n"
+"\n"
+"Belangrijke ontwikkelingen voor de website en de API zijn de implementatie van de nieuwe [ICT-beveiligingsrichtlijnen voor Transport Layer Security (TLS)](https://www.ncsc.nl/documenten/publicaties/2025/juni/01/ict-beveiligingsrichtlijnen-voor-transport-layer-security-2025-05) van het NCSC, een [vernieuwd ontwerp van de website](https://dev3.internet.nl/) en de overname van [Have DANE?](https://havedane.net/).\n"
+"\n"
+"Voor het dashboard zijn de verbeterde stabiliteit en integratie van de nieuwe subtest voor [Certification Authority Authorization (CAA)](https://internet.nl/faqs/https/) belangrijke ontwikkelingen. Ook is het dashboard nu via een API benaderbaar.\n"
+"\n"
+"## Standardisation with Chinese Characteristics?\n"
+"Alexandre Ferreira Gomes, hoofdauteur van het rapport '[Standardisation with Chinese Characteristics?](https://www.chinakennisnetwerk.nl/publications/standardisation-chinese-characteristics)' van het China Knowledge Network en het Clingendael Instituut, gaf een presentatie over de belangrijkste bevindingen uit het rapport.\n"
+"\n"
+"De invloed van China in internationale standaardisatie groeit, iets wat de aanwezigen ook merken. Men heeft zowel de kwaliteit van Chinese bijdragen zien toenemen, als het volume. Het grote volume zorgt ervoor dat het onmogelijk is om bij te blijven. Prioriteren is noodzakelijk.\n"
+"\n"
+"Het rapport roept op tot langdurige betrokkenheid en vroege inzet van de Europese Unie en haar lidstaten, vanwege de geopolitieke betekenis van standaardisatie. Een illustratief citaat uit het rapport is: ‘Third-tier companies make products; second-tier companies make technology; first-tier companies make standards’. Vervang ‘companies’ door ‘countries’ en je ziet waarom investeren in standaarden zo belangrijk is.\n"
+"\n"
+"## En verder…\n"
+"Verder is teruggeblikt op de vorige bijeenkomst, is stilgestaan bij het jaarplan en de  bijdragen voor 2026, zijn de plannen voor de volgende bijeenkomst besproken en werd de [certificatenregen van de Internet Cleanup Foundation](https://internetcleanup.foundation/2025/06/aankondiging-certificatenregen-22-tot-26-september-2025/) aangekondigd. Er werd afgesloten met een borrel.\n"
+" \n"
+"Geïnteresseerd in de onderwerpen waarover het Platform Internetstandaarden spreekt?\n"
+"Voor meer informatie over moderne internetstandaarden of activiteiten van het Platform Internetstandaarden, volg ons op [LinkedIn](https://www.linkedin.com/company/internet-nl/) of [Mastodon](https://mastodon.nl/@internet_nl)."
+
+msgid "article plis-meeting-sept-2025 date"
+msgstr "1 oktober 2025"
+
+msgid "article plis-meeting-sept-2025 lead"
+msgstr ""
+"Op donderdag 18 september kwam het Platform Internetstandaarden samen voor "
+"de derde bijeenkomst van dit jaar. De bijeenkomst vond plaats bij ECP | "
+"Platform voor de InformatieSamenleving in Den Haag, waar het platform "
+"gastvrij werd ontvangen. Op de agenda stonden onder andere een introductie "
+"van ECP, een update over MANRS, een terugblik en vooruitblik op evenementen,"
+" ontwikkelingen rond Internet.nl en een presentatie van het rapport "
+"‘Standardisation with Chinese Characteristics?’ van CKN en Clingendael. "
+"Gerben Klein Baltink zat de bijeenkomst voor, waaraan in totaal 16 "
+"deelnemers meededen."
+
+msgid "article plis-meeting-sept-2025 title"
+msgstr "Terugblik Platform Internetstandaarden bijeenkomst 18 september 2025"
+
 msgid "article release-1.10 body"
 msgstr ""
 "## Wat is CAA?\n"