Merge pull request #819 from flairNLP/fix-nzz

Update `upper_boundary_selector` for `NZZ`

Author: addie9800

src/fundus/publishers/ch/nzz.py

@@ -59,6 +59,6 @@ def images(self) -> List[Image]:
                 paragraph_selector=self._paragraph_selector,
                 caption_selector=XPath("./ancestor::figure//h2"),
                 author_selector=XPath("./ancestor::figure//div[@class='image-description__author']"),
-                upper_boundary_selector=CSSSelector("div#page"),
+                upper_boundary_selector=XPath("//section[@data-nzz-tid]"),
                 lower_boundary_selector=XPath("//div[@class='sharebox']"),
             )

src/fundus/publishers/ch/zwanzig_minuten.py

@@ -14,12 +14,17 @@
 
 class ZwanzigMinutenParser(ParserProxy):
     class V1(BaseParser):
+        VALID_UNTIL = datetime.date(2025, 10, 5)
+
         _summary_selector = XPath(
             "//div[@class='Article_elementLead__N3pGr']/p | (//div[@type='typeInfoboxSummary'])[1]//li"
         )
         _subheadline_selector = XPath("//section[@class='Article_body__60Liu']//h2[contains(@class, 'crosshead')]")
         _paragraph_selector = XPath("//div[@class='Article_elementTextblockarray__WNyan']/p")
 
+        _caption_selector = XPath("./ancestor::figure//figcaption/span[@class='sc-d47814d6-2 bDLFoO']/p")
+        _author_selector = XPath("./ancestor::figure//figcaption/span[@class='sc-d47814d6-3 bmEwwn']")
+
         @attribute
         def body(self) -> Optional[ArticleBody]:
             return extract_article_body_with_selector(
@@ -47,6 +52,16 @@ def images(self) -> List[Image]:
                 doc=self.precomputed.doc,
                 paragraph_selector=self._paragraph_selector,
                 upper_boundary_selector=XPath("//article"),
-                caption_selector=XPath("./ancestor::figure//figcaption/span[@class='sc-d47814d6-2 bDLFoO']/p"),
-                author_selector=XPath("./ancestor::figure//figcaption/span[@class='sc-d47814d6-3 bmEwwn']"),
+                caption_selector=self._caption_selector,
+                author_selector=self._author_selector,
             )
+
+    class V1_1(V1):
+        VALID_UNTIL = datetime.date.today()
+
+        _summary_selector = XPath("//div[@type='lead']/p | //div[@type='infobox']//li")
+        _paragraph_selector = XPath("//section//p[@type='textBlockArray']")
+        _subheadline_selector = XPath("//section//h2[@data-testid='Crosshead']")
+
+        _caption_selector = XPath("./ancestor::figure//figcaption/span[@class='sc-b3c65b9d-2 drRlrY']")
+        _author_selector = XPath("./ancestor::figure//figcaption/span[@class='sc-b3c65b9d-3 eEeXhh']")

tests/resources/parser/test_data/ch/ZwanzigMinuten.json

@@ -100,5 +100,222 @@
     ],
     "publishing_date": "2024-12-17 12:17:15+01:00",
     "title": "Tiktok: Brüssel untersucht Wahleinmischung"
+  },
+  "V1_1": {
+    "authors": [
+      "Michelle de Oliveira"
+    ],
+    "body": {
+      "summary": [
+        "Ernährung spielt in der Erkältungssaison eine wichtige Rolle. Wunder erwarten kannst du keine, aber es gibt einige Lebensmittel, die dich bei der Genesung unterstützen können."
+      ],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Hier wird gehustet, dort geniest und da geschnieft: Die Erkältungssaison ist in vollem Gange. Dich hat es auch erwischt oder du hast das Gefühl, es kündigt sich etwas an? Vielleicht kannst du die Erkältung noch stoppen, bevor sie richtig ausgebrochen ist. Doch was hilft, wenn es dich bereits erwischt hat?"
+          ]
+        },
+        {
+          "headline": [
+            "Lebensmittel gegen Erkältung? Keine Magie erwarten"
+          ],
+          "paragraphs": [
+            "Einen magischen Trick gibt es nicht, aber durchaus einige Lebensmittel, die dir helfen können, wieder auf die Beine zu kommen. Grundsätzlich – und nicht nur in der Erkältungszeit – gilt natürlich: «Es ist wichtig, zu den Grundlagen zurückzukehren und einen gesunden Lebensstil zu pflegen», sagt der Arzt Hilary Jones gegenüber «BBC». «Nicht rauchen, nicht zu viel Alkohol trinken, ausreichend schlafen und Stress vermeiden.»",
+            "Wie sieht es mit der Ernährung aus? Soll man die Viren «aushungern», wie man immer mal wieder hört? Wohl eher nicht: «Die Realität ist, dass dein Immunsystem, egal ob du eine Erkältung, Grippe oder Fieber hast, Energie und Nährstoffe benötigt, um seine Arbeit zu erledigen», erklärt Ernährungsberaterin und Autorin Rhiannon Lambert gegenüber «BBC». «Daher war es noch nie so wichtig, zu essen und ausreichend Flüssigkeit zu sich zu nehmen.»"
+          ]
+        },
+        {
+          "headline": [
+            "Nährstofflieferant Hühnersuppe"
+          ],
+          "paragraphs": [
+            "Wenn du wenig Appetit hast, musst du nicht so viel essen wie sonst. Achte aber darauf, dass du auf nährstoffreiche Speisen zurückgreifst. Hühnersuppe etwa liefert Mineralien, Vitamine, Antioxidantien, Ballaststoffe und sekundäre Pflanzenstoffe. «Aus ernährungsphysiologischer Sicht ist Hühnersuppe eine gute Proteinquelle, die die Immunfunktion und die Gewebereparatur unterstützt. Darüber hinaus trägt die Brühe zur Flüssigkeitszufuhr bei, was bei der Bekämpfung einer Krankheit von entscheidender Bedeutung ist», erklärt Lambert.",
+            "Auch Zitrusfrüchte, Süsskartoffeln, grünes Gemüse und fetter Fisch sollten auf dem Speiseplan stehen. Lachs, Makrele oder Forelle zum Beispiel enthalten Vitamin D, das unser Körper nicht selbst herstellen kann. «Vitamin D kann sowohl die Stimmung verbessern als auch das Immunsystem schützen», sagt die Ernährungsberaterin Roxana Ehsani gegenüber «U.S. News».",
+            "Achte zudem auf die Zufuhr von Zink, denn Studien haben gezeigt, dass Zink die Dauer und Schwere von Erkältungen verringern kann. Zink ist etwa in Käse, Kernen, Nüssen, Haferflocken, Linsen oder auch Sesam enthalten."
+          ]
+        },
+        {
+          "headline": [
+            "Knoblauch gegen Entzündungen"
+          ],
+          "paragraphs": [
+            "Knoblauch enthält antimikrobielle Inhaltsstoffe. Das liegt vor allem am Allicin, einer schwefelartigen Verbindung, die auch in Zwiebeln und Schnittlauch vorkommt. Allicin hat antioxidative, entzündungshemmende und antibakterielle Eigenschaften. Eine Studie, die im «Journal of Clinical and Translational Research» veröffentlicht wurde, zeigte, dass Knoblauch helfen kann, Entzündungen einzudämmen. Füge den Knoblauch am besten ganz am Schluss oder zum Ende der Kochzeit hinzu, damit der Wirkstoff nicht durch die Hitze zerstört wird."
+          ]
+        }
+      ]
+    },
+    "images": [
+      {
+        "versions": [
+          {
+            "url": "https://image.20min.ch/2025/10/28/e84ab795-cc5d-4ecb-8959-a368b429622b.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=400&h=400&rect=182%2C85%2C3635%2C2424&s=d37e22452eb27178d1183148e62c1145",
+            "query_width": null,
+            "size": {
+              "width": 400,
+              "height": 267
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/e84ab795-cc5d-4ecb-8959-a368b429622b.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=800&h=800&rect=182%2C85%2C3635%2C2424&s=1ae2adf58a15c2ad95f8f9b10ed0e8f6",
+            "query_width": null,
+            "size": {
+              "width": 800,
+              "height": 533
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/e84ab795-cc5d-4ecb-8959-a368b429622b.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1200&h=1200&rect=182%2C85%2C3635%2C2424&s=9398c47f56c4b0cab1a710c90674ad55",
+            "query_width": null,
+            "size": {
+              "width": 1200,
+              "height": 800
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/e84ab795-cc5d-4ecb-8959-a368b429622b.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1600&h=1600&rect=182%2C85%2C3635%2C2424&s=99ad2d391cf905a1442b8f34bd455bb9",
+            "query_width": null,
+            "size": {
+              "width": 1600,
+              "height": 1067
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/e84ab795-cc5d-4ecb-8959-a368b429622b.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=2001&h=2000&rect=182%2C85%2C3635%2C2424&s=17b3e383cef901339bdcd0bf925d1eae",
+            "query_width": null,
+            "size": {
+              "width": 2001,
+              "height": 1334
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": true,
+        "description": "Wenn dich eine Erkältung erwischt, kann dich die richtige, nährstoffreiche Ernährung bei der Genesung unterstützen.",
+        "caption": "Wenn dich eine Erkältung erwischt, kann dich die richtige, nährstoffreiche Ernährung bei der Genesung unterstützen.",
+        "authors": [
+          "Getty Images"
+        ],
+        "position": 457
+      },
+      {
+        "versions": [
+          {
+            "url": "https://image.20min.ch/2025/10/28/2fe0086c-29a8-4388-b64d-a8d39a26b623.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=400&h=400&rect=364%2C0%2C3636%2C2471&s=12c123f79dd400f66d5b859c39733efe",
+            "query_width": null,
+            "size": {
+              "width": 400,
+              "height": 272
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/2fe0086c-29a8-4388-b64d-a8d39a26b623.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=800&h=800&rect=364%2C0%2C3636%2C2471&s=97e4414561a2b2ada8ebfc8e44ddc52c",
+            "query_width": null,
+            "size": {
+              "width": 800,
+              "height": 544
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/2fe0086c-29a8-4388-b64d-a8d39a26b623.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1200&h=1200&rect=364%2C0%2C3636%2C2471&s=a61a9cc964479da7a05a26861973c92b",
+            "query_width": null,
+            "size": {
+              "width": 1200,
+              "height": 816
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/2fe0086c-29a8-4388-b64d-a8d39a26b623.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1600&h=1600&rect=364%2C0%2C3636%2C2471&s=a3317394e3d3d77b43bffed299704092",
+            "query_width": null,
+            "size": {
+              "width": 1600,
+              "height": 1088
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/2fe0086c-29a8-4388-b64d-a8d39a26b623.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=2001&h=2000&rect=364%2C0%2C3636%2C2471&s=05bb312022d0423983c760a988bfd891",
+            "query_width": null,
+            "size": {
+              "width": 2001,
+              "height": 1361
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": false,
+        "description": "Viel Ruhe, Schlaf und Erholung helfen, wieder zu Kräften zu kommen.",
+        "caption": "Viel Ruhe, Schlaf und Erholung helfen, wieder zu Kräften zu kommen.",
+        "authors": [
+          "Unsplash/Kelly Sikkema"
+        ],
+        "position": 472
+      },
+      {
+        "versions": [
+          {
+            "url": "https://image.20min.ch/2025/10/28/fc0553d2-f5ad-4123-ad34-479c99fa4418.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=400&h=400&rect=0%2C0%2C4000%2C2670&s=f466aac21077b07c8afef5126f95d089",
+            "query_width": null,
+            "size": {
+              "width": 400,
+              "height": 267
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/fc0553d2-f5ad-4123-ad34-479c99fa4418.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=800&h=800&rect=0%2C0%2C4000%2C2670&s=7342f033caac1cac142365185c35b279",
+            "query_width": null,
+            "size": {
+              "width": 800,
+              "height": 534
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/fc0553d2-f5ad-4123-ad34-479c99fa4418.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1200&h=1200&rect=0%2C0%2C4000%2C2670&s=06d39713a19c840d461c4c8e8c230ef2",
+            "query_width": null,
+            "size": {
+              "width": 1200,
+              "height": 801
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/fc0553d2-f5ad-4123-ad34-479c99fa4418.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=1600&h=1600&rect=0%2C0%2C4000%2C2670&s=d613502b7409cb05749e0a0fc475b4d1",
+            "query_width": null,
+            "size": {
+              "width": 1600,
+              "height": 1068
+            },
+            "type": "image/jpeg"
+          },
+          {
+            "url": "https://image.20min.ch/2025/10/28/fc0553d2-f5ad-4123-ad34-479c99fa4418.jpg?auto=format%2Ccompress%2Cenhance&fit=max&w=2001&h=2000&rect=0%2C0%2C4000%2C2670&s=640786c923d02f603190388b2946c3d4",
+            "query_width": null,
+            "size": {
+              "width": 2001,
+              "height": 1336
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": false,
+        "description": "Knoblauch hat antibakterielle Eigenschaften und kann im Kampf gegen Erkältungen helfen.",
+        "caption": "Knoblauch hat antibakterielle Eigenschaften und kann im Kampf gegen Erkältungen helfen.",
+        "authors": [
+          "Pexels/AS Photography"
+        ],
+        "position": 517
+      }
+    ],
+    "publishing_date": "2025-11-06 12:26:47+01:00",
+    "title": "Hühnersuppe und Co.: Diese Nahrungsmittel helfen dir, wieder fit zu werden"
   }
 }

tests/resources/parser/test_data/ch/ZwanzigMinuten_2025_11_06.html.gz

@@ -18,5 +18,9 @@
   "ZwanzigMinuten_2024_12_17.html.gz": {
     "url": "https://www.20min.ch/story/europaeische-kommission-verfahren-bruessel-prueft-einfluss-von-tiktok-auf-wahlen-103241818",
     "crawl_date": "2024-12-17 15:30:01.640676"
+  },
+  "ZwanzigMinuten_2025_11_06.html.gz": {
+    "url": "https://www.20min.ch/story/lebensmittel-gegen-erkaeltung-die-richtige-ernaehrung-zur-genesung-103441563",
+    "crawl_date": "2025-11-06 12:50:27.481041"
   }
 }