Merge pull request #808 from myoncee/add-swp-publisher

Add Stuttgarter Zeitung Parser

Author: MaxDall

docs/supported_publishers.md

@@ -1188,6 +1188,25 @@
       <td>&#160;</td>
       <td>&#160;</td>
     </tr>
+    <tr>
+      <td>
+        <code>StuttgarterZeitung</code>
+      </td>
+      <td>
+        <div>Stuttgarter Zeitung</div>
+      </td>
+      <td>
+        <a href="https://www.stuttgarter-zeitung.de/">
+          <span>www.stuttgarter-zeitung.de</span>
+        </a>
+      </td>
+      <td>
+        <code>de</code>
+      </td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+    </tr>
     <tr>
       <td>
         <code>SZ</code>

src/fundus/publishers/de/__init__.py

@@ -40,6 +40,7 @@
 from .spon import SPONParser
 from .sportschau import SportSchauParser
 from .stern import SternParser
+from .stuttgarter_zeitung import StuttgarterZeitungParser
 from .sz import SZParser
 from .tagesschau import TagesschauParser
 from .tagesspiegel import TagesspiegelParser
@@ -93,6 +94,15 @@ class DE(metaclass=PublisherGroup):
         ],
     )
 
+    StuttgarterZeitung = Publisher(
+        name="Stuttgarter Zeitung",
+        domain="https://www.stuttgarter-zeitung.de/",
+        parser=StuttgarterZeitungParser,
+        sources=[
+            NewsMap("https://www.stuttgarter-zeitung.de/docs.newsmap_stuttgarter_zeitung.xml"),
+        ],
+    )
+
     HamburgerAbendblatt = Publisher(
         name="Hamburger Abendblatt",
         domain="https://www.abendblatt.de/",

src/fundus/publishers/de/stuttgarter_zeitung.py

@@ -0,0 +1,54 @@
+import datetime
+from typing import List, Optional
+
+from lxml.cssselect import CSSSelector
+from lxml.etree import XPath
+
+from fundus.parser import ArticleBody, BaseParser, Image, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    generic_topic_parsing,
+    image_extraction,
+)
+
+
+class StuttgarterZeitungParser(ParserProxy):
+    class V1(BaseParser):
+        _paragraph_selector = CSSSelector("div.article-body p")
+        _subheadline_selector = CSSSelector("div.article-body h2")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                subheadline_selector=self._subheadline_selector,
+            )
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime.datetime]:
+            return generic_date_parsing(self.precomputed.ld.bf_search("datePublished"))
+
+        @attribute
+        def authors(self) -> List[str]:
+            return generic_author_parsing(self.precomputed.ld.bf_search("author"))
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.meta.get("og:title")
+
+        @attribute
+        def topics(self) -> List[str]:
+            return generic_topic_parsing(self.precomputed.ld.bf_search("keywords"))
+
+        @attribute
+        def images(self) -> List[Image]:
+            return image_extraction(
+                doc=self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+                image_selector=XPath("//figure//picture//img"),
+                caption_selector=XPath("./ancestor::figure//figcaption"),
+                relative_urls=True,
+            )

tests/resources/parser/test_data/de/StuttgarterZeitung.json

@@ -0,0 +1,68 @@
+{
+  "V1": {
+    "authors": [
+      "dpa"
+    ],
+    "body": {
+      "summary": [],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Die Sprengung der 160 Meter hohen Kühltürme des ehemaligen Kernkraftwerks markiert das Ende einer Ära – und macht Platz für neue Energieprojekte am Standort Gundremmingen.",
+            "Gundremmingen - Die beiden jeweils 160 Meter hohen Kühltürme des früheren Kernkraftwerks Gundremmingen in Schwaben sind knapp vier Jahre nach der Stilllegung des Atommeilers gesprengt worden. Pünktlich um 12.00 Uhr fielen die aus insgesamt 56.000 Tonnen Stahlbeton bestehenden Kolosse in sich zusammen.",
+            "Etwa 30.000 Schaulustige, insbesondere aus Bayern und dem nahen Baden-Württemberg, verfolgten nach Angaben der Polizei die spektakuläre Zerstörung eines Symbols des Atomzeitalters.",
+            "Die Sprengung verlief genau so, wie die mit dem Abriss beauftragte Thüringer Sprenggesellschaft geplant hatte. Zwischen den beiden Zündungen des für die Zerstörung der zwei Türme benötigten Sprengstoffs gab es etwa 15 Sekunden Zeitunterschied. Die Kühltürme neigten sich jeweils leicht zur Seite und fielen dann senkrecht nach unten in sich zusammen.",
+            "Der Betreiber RWE und das Spezialunternehmen, das bereits mehrfach Kühltürme und Hochhäuser abgerissen hatte, hatten die Aktion mehr als ein Jahr lang vorbereitet. Mehr als 1.000 Löcher für den Sprengstoff wurden dafür in die Bauwerke gebohrt."
+          ]
+        },
+        {
+          "headline": [
+            "Behörden überwachen Sperrzone und weisen Parkplätze aus"
+          ],
+          "paragraphs": [
+            "Das Kernkraftwerk war Ende 2021 mit der Abschaltung des dritten Blocks endgültig vom Netz gegangen. Seitdem wird die Atomanlage zurückgebaut. Dies wird noch bis in die 2030er Jahre dauern. Die Kühltürme wurden einst gebraucht, um das bei der Stromproduktion erhitzte Kühlwasser herunterzukühlen, ehe es wieder zurück in die Donau geleitet wurde.",
+            "Für die Sprengung hatte das Landratsamt Günzburg eine große Sperrzone festgelegt. Zahlreiche Polizeibeamte überwachten, dass sich tatsächlich niemand dort aufhielt."
+          ]
+        },
+        {
+          "headline": [
+            "Größter Batteriespeicher Deutschlands in den Startblöcken"
+          ],
+          "paragraphs": [
+            "Obwohl der Rückbau des Atomkraftwerks noch lange läuft, bereitet der Energiekonzern RWE die Folgenutzung des Standorts vor. Seit den 1960er Jahren wurde das Areal für die Kernkraft genutzt. Schon am Mittwoch soll dort der Spatenstich für einen Batteriespeicher gesetzt werden.",
+            "Laut RWE wird der Speicher mit einer Kapazität von rund 700 Megawattstunden der aktuell größte in Deutschland. Solche Anlagen werden benötigt, um beispielsweise tagsüber bei Sonnenschein gewonnenen Solarstrom zu speichern und dann nachts abgeben zu können. Zudem sind eine Photovoltaik-Anlage und ein neues Gaskraftwerk in Gundremmingen in Planung."
+          ]
+        }
+      ]
+    },
+    "images": [
+      {
+        "versions": [
+          {
+            "url": "https://www.stuttgarter-zeitung.de/media.media.be7b8bf8-9051-4c0a-bd8f-8f800bc5471a.16x9_700.jpg",
+            "query_width": null,
+            "size": {
+              "width": 16,
+              "height": 9
+            },
+            "type": "image/jpeg"
+          }
+        ],
+        "is_cover": true,
+        "description": "Rückbau von Atomkraftwerk: Kühltürme von AKW Gundremmingen gesprengt",
+        "caption": "Erst fiel der linke Kühlturm, dann der rechte. Foto: Peter Kneffel/dpa",
+        "authors": [],
+        "position": 826
+      }
+    ],
+    "publishing_date": "2025-10-25 12:10:35+02:00",
+    "title": "Rückbau von Atomkraftwerk: Kühltürme von AKW Gundremmingen gesprengt",
+    "topics": [
+      "Atomenergie",
+      "Bayern",
+      "Baden-Württemberg",
+      "Deutschland"
+    ]
+  }
+}

tests/resources/parser/test_data/de/StuttgarterZeitung_2025_10_25.html.gz

@@ -219,6 +219,10 @@
     "url": "https://www.stern.de/capital/donald-trump--warum-kritik-an-seinem-charakter-so-ineffektiv-ist--35200132.html",
     "crawl_date": "2024-11-05 18:24:56.511057"
   },
+  "StuttgarterZeitung_2025_10_25.html.gz": {
+    "url": "https://www.stuttgarter-zeitung.de/inhalt.rueckbau-von-atomkraftwerk-kuehltuerme-von-akw-gundremmingen-gesprengt.e4f07910-3c72-4551-a37d-96207f2c9b02.html",
+    "crawl_date": "2025-10-25 15:42:38.178648"
+  },
   "Tagesschau_2023_04_28.html.gz": {
     "url": "https://www.tagesschau.de/inland/innenpolitik/ahrtal-flut-bilanz-100.html",
     "crawl_date": "2023-04-28 20:25:17.117496"