remove boilerplate

Author: addie9800

src/fundus/publishers/de/funke.py

@@ -85,7 +85,8 @@ class V1_1(V1):
 
         _paragraph_selector = XPath(
             "//div[contains(@class,'article-body')]"
-            "//p[contains(@class,'expressive-copy-lg-body') and not(contains(text(), '>>'))]"
+            "//p[contains(@class,'expressive-copy-lg-body') and not(contains(text(), '>>')) and string-length(text()) > 10]|"
+            "//div[contains(@class,'article-body')]//ul/li[string-length(text())>10]"
         )
         _subheadline_selector = XPath(
             "//div[contains(@class,'article-body')]//h3[not("
@@ -94,7 +95,8 @@ class V1_1(V1):
             " or contains(text(), 'weitere Videos')"
             " or contains(text(), 'Auch interessant')"
             " or contains(text(), 'Weitere News')"
-            " or not(contains(@class, 'expressive-heading-xl')))]"
+            " or not(contains(@class, 'expressive-heading-xl'))"
+            " or following-sibling::*[1][self::ul])]"
         )
         _summary_selector = XPath("//div[contains(@class, 'expressive-copy-lg')]")
         _image_selector = XPath(

tests/resources/parser/test_data/de/BerlinerMorgenpost.json

@@ -1102,7 +1102,6 @@
             "Doch wie geht es bis Ende des Jahres weiter? Luke Bartholomew vom Vermögensverwalter Aberdeen Investments, erwartet keine unmittelbare Veränderung: „Da die EZB diese Woche aller Voraussicht nach die Zinsen unverändert lässt, richtet sich der Blick der Anleger vor allem auf Signale zur künftigen Zinspolitik, und darauf, wie diese mit der politischen Lage in Frankreich zusammenspielen könnte.“",
             "Er geht davon aus, dass der Leitzins inzwischen das sogenannte „neutrale Niveau“ erreicht habe und die EZB zunächst die wirtschaftliche Entwicklung beobachten werde. Sollte überhaupt eine Anpassung erfolgen, sei ein Zinsschritt nach oben wahrscheinlicher als eine weitere Senkung – allerdings erst später, wenn die fiskalischen Impulse in Europa wirken.",
             "Yu ergänzt: „Ein möglicher Störfaktor wäre ein deutlicher Ausverkauf französischer Staatsanleihen infolge politischer oder haushaltspolitischer Unsicherheiten“, so der Experte und erklärt: „Dies würde die finanziellen Rahmenbedingungen im Euroraum spürbar verschärfen und könnte die EZB zu weiteren Zinssenkungen veranlassen. Eine direkte Intervention der EZB zur Stabilisierung des französischen Anleihemarkts ist jedoch kurzfristig unwahrscheinlich.“",
-            "Mehr zum Thema finden Sie auch im wöchentlichen Zins-Check:",
             "Veit sieht die Wahrscheinlichkeit für weitere Lockerungsschritte ebenfalls als gering an: „Die Märkte preisen derzeit eine gewisse Wahrscheinlichkeit für weitere Lockerungsschritte ein, um die ‚punktgenaue‘ Inflationsprognose von 2 Prozent für 2027 abzusichern. Wir stimmen mit dieser Logik überein, halten es aber für wahrscheinlicher, dass der Zinssenkungszyklus mit dem aktuellen Satz von zwei Prozent bereits abgeschlossen ist.“ Weitere EZB-Leitzins-Prognosen für 2025 finden Sie auch in unserem großen Überblick"
           ]
         },

tests/resources/parser/test_data/de/HamburgerAbendblatt.json

@@ -814,14 +814,7 @@
             "Es ist ein paar Monate her, da schrieb Annalena Baerbock einen emotionalen Brief an ihre Partei und die Grünen-Fraktion im Bundestag. Die vergangenen Jahre als Außenministerin seien „intensiv“ gewesen. Die vielen Reisen, die Krisengipfel, die Marathonsitzungen. Dafür habe sie einen „privaten Preis“ gezahlt. Dann schreibt Baerbock, dass sie sich entschieden habe, „erst einmal einen Schritt aus dem grellen Scheinwerferlicht zu machen“. Dem Vorsitz der Grünen-Fraktion im neuen Bundestag erteilte sie mit dem Brief eine Absage. Baerbock hat zwei Töchter im Alter von 9 und 13 Jahren.",
             "Anfang März war das. Jetzt, Anfang September, ist Annalena Baerbock zurück im Scheinwerferlicht. Die Grünen-Politikerin tritt heute das Amt der neuen Präsidentin der UN-Generalversammlung an. In New York. Im Sommer wählte die Versammlung die neue Vorsitzende. Es war die abgewählte Ampel-Bundesregierung von SPD, Grünen und FDP, die Baerbocks Kandidatur in den Umlauf brachte. Es hieß damals, Baerbocks Posten sei auch mit dem designierten Kanzler Friedrich Merz abgesprochen.",
             "Die Entscheidung, so heißt es nun, sei erst kurzfristig final gefällt worden – stehe also nicht im Gegensatz zu Baerbocks Abschiedsbrief an die Fraktion.",
-            "Doch die Nominierung war noch aus einem anderen Grund überraschend: Der Posten in New York war eigentlich schon vergeben – an Helga Schmid, keine Politikerin, sondern eine hochrangige Diplomatin. Schon im vergangenen Spätsommer hatte die Ampel-Koalition die damals 63-Jährige für das prestigereiche Amt am Hauptsitz der Vereinten Nationen nominiert. Zuletzt war Schmid Generalsekretärin der Organisation für Sicherheit und Zusammenarbeit in Europa (OSZE)."
-          ]
-        },
-        {
-          "headline": [
-            "Exklusive Politik-Hintergründe – für Sie recherchiert"
-          ],
-          "paragraphs": [
+            "Doch die Nominierung war noch aus einem anderen Grund überraschend: Der Posten in New York war eigentlich schon vergeben – an Helga Schmid, keine Politikerin, sondern eine hochrangige Diplomatin. Schon im vergangenen Spätsommer hatte die Ampel-Koalition die damals 63-Jährige für das prestigereiche Amt am Hauptsitz der Vereinten Nationen nominiert. Zuletzt war Schmid Generalsekretärin der Organisation für Sicherheit und Zusammenarbeit in Europa (OSZE).",
             "Nun aber kommt Baerbock. Als Außenministerin war sie umstritten, fiel durch klare Positionierung an der Seite der Ukraine auf und vermittelte zuletzt mehrfach im Konflikt zwischen Israel und der Terrororganisation Hamas. Vor allem ist die Grünen-Politikerin mittlerweile eine weltweit bekannte Politikerin – und das, so heißt es nun aus Kreisen der alten Bundesregierung, sei auch ein Signal, wie wichtig Deutschland die Vereinten Nationen als Institution nehme. Gerade jetzt, da die UN aus internationale Organisation massiv von bedeutenden Regierungen in Washington und Moskau angegriffen wird."
           ]
         },
@@ -833,8 +826,7 @@
             "Lange galt das Amt des Präsidenten der UN-Vollversammlung als repräsentativ. Wer den Vorsatz innehat, eröffnet, vollzieht die Geschäftsordnung und leitet die Sitzungen in New York, wo 193 Länder zusammenkommen. Doch Baerbock, heute 44 Jahre alt, könnte das Amt politisch führen – vor allem, weil der UN-Sicherheitsrat durch Konflikte der Veto-Mächte zunehmend blockiert ist.",
             "Eine politische Auslegung des Amtes würde zu ihr passen, die als Ministerin schon gegen Widerstände auf eine „feministische Außenpolitik“ setzte. Debatten in Gang bekommen, aber auch zwischen Konfliktparteien vermitteln – all das könnte Baerbock künftig als Präsidentin der UN-Generalversammlung tun.",
             "Zugleich aber muss sie neutral sein, ist allen 193 Mitgliedsstaaten verpflichtet und darf nicht Partei für ein Land ergreifen.",
-            "Klar ist auch: Das Amt qualifiziert Annalena Baerbock für weitere Karriereschritte in der internationalen Diplomatie. Sie könnte 2026 auf António Guterres folgen. Der ist aktuell UN-Generalsekretär. Auch ein Vorsitz von anderen einflussreichen internationalen Organisationen wäre denkbar, etwa der Unesco, die für Kultur und Bildung verantwortlich ist. Oder als Hochkommissarin der Vereinten Nationen für Flüchtlinge, UNHCR. Baerbock ist selbst Völkerrechtlerin, absolvierte ihren Master of Law an der London School of Economics.",
-            "Lesen Sie auch: Annalena Baerbock: Kinder, Ausbildung, Politik – alle wichtigen Infos"
+            "Klar ist auch: Das Amt qualifiziert Annalena Baerbock für weitere Karriereschritte in der internationalen Diplomatie. Sie könnte 2026 auf António Guterres folgen. Der ist aktuell UN-Generalsekretär. Auch ein Vorsitz von anderen einflussreichen internationalen Organisationen wäre denkbar, etwa der Unesco, die für Kultur und Bildung verantwortlich ist. Oder als Hochkommissarin der Vereinten Nationen für Flüchtlinge, UNHCR. Baerbock ist selbst Völkerrechtlerin, absolvierte ihren Master of Law an der London School of Economics."
           ]
         },
         {

tests/resources/parser/test_data/de/WAZ.json

@@ -394,7 +394,6 @@
         },
         {
           "headline": [
-            "Exklusive Politik-Hintergründe – für Sie recherchiert",
             "Julia Klöckner weist Vorwürfe zurück"
           ],
           "paragraphs": [
@@ -407,8 +406,7 @@
           ],
           "paragraphs": [
             "Tatsächlich hat Klöckner in den ersten Monaten ihrer Amtszeit mehrfach Kontroversen ausgelöst. Besonders scharf kritisiert wurde ihre Entscheidung, das Hissen der Regenbogenflagge am Bundestag zu untersagen. Auch in einer Auseinandersetzung mit Abgeordneten der Linkspartei über die Kleiderordnung im Parlament sorgte sie für Schlagzeilen.",
-            "Diese Entscheidungen nährten den Vorwurf, Klöckner nutze ihr Amt nicht zur überparteilichen Vermittlung, sondern setze politische Zeichen, die vor allem polarisieren.",
-            "mit dpa"
+            "Diese Entscheidungen nährten den Vorwurf, Klöckner nutze ihr Amt nicht zur überparteilichen Vermittlung, sondern setze politische Zeichen, die vor allem polarisieren."
           ]
         }
       ]