Skip to content

Commit 4b66177

Browse files
addie9800addie9800
authored
Merge pull request #786 from flairNLP/update-funke
Update funke
2 parents 0cd07c0 + 5769fe9 commit 4b66177

File tree

11 files changed

+1225
-5
lines changed

11 files changed

+1225
-5
lines changed

‎src/fundus/publishers/de/funke.py‎

Lines changed: 28 additions & 4 deletions
Original file line numberDiff line numberDiff line change
@@ -18,6 +18,8 @@
1818

1919
class FunkeParser(ParserProxy):
2020
class V1(BaseParser):
21+
VALID_UNTIL = datetime.date(2025, 8, 24)
22+
2123
_author_substitution_pattern: Pattern[str] = re.compile(r"FUNKE Mediengruppe|.*dpa(:|-infocom).*|^red$")
2224
_paragraph_selector = XPath(
2325
"//div[@class='article-body']//p[not(not(text()) or @rel='author' or em[@class='print'] or @class)]"
@@ -33,6 +35,7 @@ class V1(BaseParser):
3335
" or @class)]"
3436
)
3537
_topics_selector = XPath("//div[@class='not-prose mb-4 mx-5 font-sans']/ul/li")
38+
_image_selector = XPath("//img[not(contains(@class, 'rounded-full'))]")
3639

3740
@attribute
3841
def body(self) -> Optional[ArticleBody]:
@@ -72,9 +75,30 @@ def publishing_date(self) -> Optional[datetime.datetime]:
7275
def images(self) -> List[Image]:
7376
return image_extraction(
7477
doc=self.precomputed.doc,
75-
paragraph_selector=XPath(
76-
"//div[@class='article-body']//p[not(not(text()) or @rel='author' or em[@class='print'])]"
77-
),
78-
image_selector=XPath("//img[not(contains(@class, 'rounded-full'))]"),
78+
paragraph_selector=self._paragraph_selector,
79+
image_selector=self._image_selector,
7980
author_selector=re.compile(r"©(?P<credits>.*)"),
8081
)
82+
83+
class V1_1(V1):
84+
VALID_UNTIL = datetime.date.today()
85+
86+
_paragraph_selector = XPath(
87+
"//div[contains(@class,'article-body')]"
88+
"/p[contains(@class,'expressive-copy-lg-body') and not(contains(text(), '>>')) and string-length(text()) > 10]|"
89+
"//div[contains(@class,'article-body')]//ul/li[string-length(text())>10 and not(a or article)]"
90+
)
91+
_subheadline_selector = XPath(
92+
"//div[contains(@class,'article-body')]//h3[not("
93+
"contains(text(), 'Alle Artikel der Serie')"
94+
" or contains(text(), 'Mehr zum Thema')"
95+
" or contains(text(), 'weitere Videos')"
96+
" or contains(text(), 'Auch interessant')"
97+
" or contains(text(), 'Weitere News')"
98+
" or not(contains(@class, 'expressive-heading-xl'))"
99+
" or following-sibling::*[1][self::ul])]"
100+
)
101+
_summary_selector = XPath("//div[contains(@class, 'expressive-copy-lg')]")
102+
_image_selector = XPath(
103+
"//img[contains(@class, 'lg:aspect-[16/9]') or not(contains(@class, 'aspect-[1/1]'))] | //figure/picture"
104+
)

‎src/fundus/publishers/de/waz.py‎

Lines changed: 6 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -13,6 +13,7 @@
1313
generic_topic_parsing,
1414
image_extraction,
1515
)
16+
from fundus.publishers.de.funke import FunkeParser
1617

1718

1819
class WAZParser(ParserProxy):
@@ -67,11 +68,15 @@ def images(self) -> List[Image]:
6768
)
6869

6970
class V1_1(V1):
70-
VALID_UNTIL = datetime.date.today()
71+
VALID_UNTIL = datetime.date(2025, 8, 24)
7172

7273
_paragraph_selector = XPath(
7374
"//div[@class='article-body'] /p[position()>1 and not(@rel='author' or re:test(string(), '^>>.*[+]{3}'))]",
7475
namespaces={"re": "http://exslt.org/regular-expressions"},
7576
)
7677
_summary_selector = XPath("//div[@class='article-body'] /p[position()=1]")
7778
_subheadline_selector = XPath("//div[@class='article-body'] / h3[not(text()='Auch interessant')]")
79+
80+
class V2(FunkeParser.V1_1):
81+
# It seems like WAZ was bought by Funke and now uses the same layout
82+
VALID_UNTIL = datetime.date.today()

‎tests/resources/parser/test_data/de/BSZ.json‎

Lines changed: 270 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -130,5 +130,275 @@
130130
"Lennox Lewis",
131131
"Russland"
132132
]
133+
},
134+
"V1_1": {
135+
"authors": [
136+
"Christian Unger",
137+
"Tobias Köberlein",
138+
"Laura Wagener",
139+
"Alexander Rothe"
140+
],
141+
"body": {
142+
"summary": [
143+
"Berlin. In Berlin brennen zwei Strommasten. Zehntausende sind ohne Energie. Der mutmaßliche Anschlag wirft Fragen an die Versorgungssicherheit auf."
144+
],
145+
"sections": [
146+
{
147+
"headline": [],
148+
"paragraphs": [
149+
"Das Kind kann nicht zur Kita, weil dort die Küche ohne Strom kein Mittagessen zubereiten kann. Und wenn das kleine Kind zu Hause ist, dann ist auch an Arbeit kaum zu denken. Die fehlende Energie aus der Steckdose hat ohnehin die Verbindung zum Internet gekappt. Das alles erlebt der junge Mann, den wir nur Matthias nennen, an diesem Morgen im Berliner Ortsteil Johannisthal. „Wir sind ganz schön abgeschnitten, weil alles digital ist“, sagt er im Gespräch mit unserer Redaktion. „Mir fällt gerade ein, dass ich ein altes Campingradio habe, mit dem ich überhaupt Informationen bekommen kann.“",
150+
"Am Dienstag erlebt Berlin einen der größten Stromausfälle in der jüngsten Geschichte der Hauptstadt. Über Stunden sind Zehntausende Haushalte, aber auch Ämter, Schulen, Pflegeheime und etliche Ampeln ohne Energie, wie unsere Reporter vor Ort berichten. Mehrere Ortsteile im Südosten Berlins sind betroffen.",
151+
"Die Polizei ermittelt, der Staatsschutz ist eingeschaltet. Die Sicherheitsbehörden vermuten einen Brandanschlag mit einem politischen Motiv. Details waren am frühen Nachmittag noch nicht bekannt. Der Massenausfall in der Hauptstadt sei „verheerend“, sagt ein Polizeigewerkschafter unserer Redaktion. Und es drängt sich in den chaotischen Stunden die Frage auf: Wie gut geschützt ist Deutschland vor extremen Stromausfällen?"
152+
]
153+
},
154+
{
155+
"headline": [
156+
"Massiver Blackout: Was ist am Mittwoch in Berlin passiert?"
157+
],
158+
"paragraphs": [
159+
"Kurz nach halb neun Uhr morgens warnt die Polizei: Zwei Hochspannungsmasten in Johannisthal sind beschädigt. Die erste Meldung an den Stromanbieter kam offenbar noch mitten in der Nacht. Kurzschluss, Schäden auch an mehreren Umspannwerken.",
160+
"Der Brand ist schnell gelöscht. Doch die Folgen sind massiv: 50.000 Stromkunden sind betroffen. Einzelne Schulen müssen Kinder wieder nach Hause schicken, Ämter bleiben geschlossen. Auch die S-Bahnen fahren zeitweise nicht, genauso die Straßenbahnen.",
161+
"Zu zwei Pflegeheimen müssen Rettungskräfte und Polizei zu einem Einsatz ausrücken, weil dort vier beatmete Patienten in Gefahr sind. Die Beatmungsgeräte sind laut Polizei von dem Stromausfall betroffen, die Menschen werden in ein Krankenhaus verlegt. Auch bei den Notrufnummern 110 und 112 gibt es zeitweise Probleme, keine Erreichbarkeit. In dringenden Notfällen solle man sich daher direkt an die nächstgelegene Polizeidienststelle oder Feuerwache wenden, teilt die Polizei mit. Kurz nach Mittag melden die Stromanbieter erste Erfolge, knapp 15.000 Kunden hätten wieder Energie. Für den Rest der Menschen? Es werde dauern, heißt es von einem Sprecher des Stromnetzes."
162+
]
163+
},
164+
{
165+
"headline": [
166+
"Was ist über die Tat und die mutmaßlichen Täter bekannt?"
167+
],
168+
"paragraphs": [
169+
"Die Polizei geht nach Informationen unserer Redaktion von einem Brandanschlag aus. Vom Tatort kursieren Fotos, die Eisenketten an den Strommasten zeigen, die einen Kurzschluss an den Leitungen verursacht haben können. Die Polizei hat diese Details bisher nicht bestätigt. Auch „Hilfsmittel“ sollen die Täter eingesetzt haben.",
170+
"Strommasten sind ein Ziel von politisch motivierten Tätern, vor allem bei Linksradikalen. 2024 beschädigten Personen einen Strommast nahe der Werkstätte des US-Elektroautobauers Tesla in Brandenburg. Die „Vulkangruppe“ hatte sich zu dem Anschlag bekannt, der einen mehrtägigen Produktionsstillstand und Schaden in Millionenhöhe verursachte. Nach „Tagesspiegel“-Informationen prüfen die Ermittler auch in diesem Fall den Verdacht, dass der Anschlag mit der Ankündigung von Tesla, in Köpenick ein Entwicklungszentrum zu errichten, zusammenhängt.",
171+
"BKA-Chef Holger Münch warnte schon 2024 von einer „Zuspitzung der Bedrohungslage“. Täter aus der Szene würden zunehmend professionell vorgehen, nach den Anschlägen abtauchen. Angriffe auf Kabelschächte, Sendemasten, Strom- und Glasfaserkabel rechnen Sicherheitsbehörden der „Vulkangruppe“ zu. Anschläge auf die Energieversorgung hatte es auch in München vor einigen Jahren gegeben. Ziel von Übergriffen durch mutmaßliche Linksextreme ist immer wieder das Schienennetz der Bahn."
172+
]
173+
},
174+
{
175+
"headline": [
176+
"Wer könnte noch hinter dem Brandanschlag auf die Strommasten stecken?"
177+
],
178+
"paragraphs": [
179+
"Vor allem eines macht Polizei und Nachrichtendienste vor allem seit Beginn des russischen Angriffskriegs auf die Ukraine nervös. Es sind Sabotageaktionen auf die deutsche Infrastruktur – gesteuert durch russische Geheimdienste. In Bayern läuft aktuell vor dem Oberlandesgericht der Prozess gegen Dieter S. und Alexander J. – der Vorwurf: Die beiden Männer sollen Brandanschläge und Sprengstoffattentate auf militärische Einrichtungen und Industriestandorte in Deutschland geplant haben. Ihr mutmaßlicher Auftraggeber: russische staatliche Stelle.",
180+
"Immer wieder entdeckt Sicherheitspersonal Überflüge von Drohnen über Kasernen oder Fabrikgelände. Auch hier die Vermutung: Spione im Dienste Russlands kundschaften Ziele aus. Dabei müssen die Täter nicht immer ausgebildete Geheimdienstleute sein. Der Verfassungsschutz warnt seit Monaten vor sogenannten „Einweg-Agenten“, die für Russland in Deutschland agieren. Das sind meist prorussisch eingestellte Personen, über die sozialen Netzwerke rekrutiert. Sie bekommen eine Belohnung, Bargeld oder ein Auto für ihre Aktionen: prorussische Graffiti, eine Liegenschaft der Bundeswehr fotografieren oder einen Brandsatz in ein Geschäft werfen.",
181+
"Mit Blick auf den aktuellen mutmaßlichen Brandanschlag in Berlin hat die Polizei noch keine Erkenntnisse, die in diese Richtung zielen."
182+
]
183+
},
184+
{
185+
"headline": [
186+
"Wie gut gesichert ist das deutsche Stromnetz?"
187+
],
188+
"paragraphs": [
189+
"Ausfälle gibt es immer wieder – meist aber sind die Schäden klein. Und doch: Auch massive Blackouts kommen vor. So etwa 2019 in Berlin-Köpenick. Damals war ein Kabel bei Bauarbeiten beschädigt worden. Der Stromausfall traf mehr als 30.000 Haushalte und dauerte rund 30 Stunden.",
190+
"Fälle wie jetzt und damals bleiben aber die Ausnahme. Das deutsche Stromnetz gehört laut Fachleuten zu einem der verlässlichsten und stabilsten der Welt. Das zeigt der sogenannte „Saidi-Wert“, die durchschnittliche Stromausfallzeit pro Kunde und Jahr. Sie betrug laut Bundesnetzagentur im Jahr 2023 nur gut zwölf Minuten – ein internationaler Spitzenwert.",
191+
"Wie gravierend es laufen kann, mussten Spanien und Portugal im April erleben: Für rund zehn Stunden waren 60 Millionen Menschen ohne Strom. Bahnen, Flughäfen, Telefon- und Internetdienste – nichts ging mehr. Das, so sind sich Experten sicher, kann in Deutschland nicht passieren.",
192+
"Kraftwerke stehen als Reserve bereit. Leitstellen können Regionen isolieren, damit Schäden im Netz nicht übergreifen. Die Bundesnetzagentur betont, dass das deutsche Netz redundant ausgelegt sei, also so, dass andere Leitungen einspringen, wenn eine Verbindung ausfällt. Netzbetreiber dürften einzelne Leitungen nur bis zu einem gewissen Grad auslasten. Auch das schützt vor Total-Blackouts.",
193+
"Deutschland hat zudem die Überwachung der Netze hochgefahren, setzt oftmals „Smart Grids“ ein, eine digitale Technik, die eine Stromversorgung stabil und effizient macht. Einen weiteren Vorteil hat Deutschland: Es ist umgeben von vielen Nachbarstaaten, kann im Notfall Strom aus Norwegen oder Polen beziehen.",
194+
"Dennoch warnen gerade Sicherheitsleute vor den Lücken im System – gerade mit Blick auf Angriffe von Cyberkriminellen. Krankenhäuser, Kraftwerke und Landwirtschaftsbetriebe werden digitalisiert. Gerade Kliniken sind durch Notstromaggregate abgesichert. Das schreibt das Gesetz vor. Allerdings: Altenheime und Pflegeheime fallen nicht darunter.",
195+
"Immer wieder kommt es zu Hackerangriffen auf IT-Systeme von Kraftwerken, aber auch Polizei und Feuerwehr. Deutschland investiere „zu wenig in den Schutz von Kritischer Infrastruktur“, kritisiert etwa Benjamin Jendro von der Gewerkschaft der Polizei in Berlin. Die Redundanzen im System würden nicht ausreichen, sagte Jendro, „wir setzen bei Energieversorgung, Mobilfunk, aber auch bei der Wasserwirtschaft und Schienennetz zu sehr auf Monopole“."
196+
]
197+
}
198+
]
199+
},
200+
"images": [
201+
{
202+
"versions": [
203+
{
204+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_600.jpeg",
205+
"query_width": null,
206+
"size": {
207+
"width": 600,
208+
"height": 0
209+
},
210+
"type": "image/jpeg"
211+
},
212+
{
213+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_600.webp",
214+
"query_width": null,
215+
"size": {
216+
"width": 600,
217+
"height": 0
218+
},
219+
"type": "image/webp"
220+
},
221+
{
222+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1200.jpeg",
223+
"query_width": null,
224+
"size": {
225+
"width": 1200,
226+
"height": 0
227+
},
228+
"type": "image/jpeg"
229+
},
230+
{
231+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1200.webp",
232+
"query_width": null,
233+
"size": {
234+
"width": 1200,
235+
"height": 0
236+
},
237+
"type": "image/webp"
238+
},
239+
{
240+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1600.jpeg",
241+
"query_width": null,
242+
"size": {
243+
"width": 1600,
244+
"height": 0
245+
},
246+
"type": "image/jpeg"
247+
},
248+
{
249+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1600.webp",
250+
"query_width": null,
251+
"size": {
252+
"width": 1600,
253+
"height": 0
254+
},
255+
"type": "image/webp"
256+
}
257+
],
258+
"is_cover": true,
259+
"description": "Stromausfall im Berliner Südosten",
260+
"caption": "Großer Stromausfall in Berlin: Ursache wohl Brandanschlag",
261+
"authors": [],
262+
"position": 1023
263+
},
264+
{
265+
"versions": [
266+
{
267+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_600.jpeg",
268+
"query_width": null,
269+
"size": {
270+
"width": 600,
271+
"height": 0
272+
},
273+
"type": "image/jpeg"
274+
},
275+
{
276+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_600.webp",
277+
"query_width": null,
278+
"size": {
279+
"width": 600,
280+
"height": 0
281+
},
282+
"type": "image/webp"
283+
},
284+
{
285+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_1200.jpeg",
286+
"query_width": null,
287+
"size": {
288+
"width": 1200,
289+
"height": 0
290+
},
291+
"type": "image/jpeg"
292+
},
293+
{
294+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_1200.webp",
295+
"query_width": null,
296+
"size": {
297+
"width": 1200,
298+
"height": 0
299+
},
300+
"type": "image/webp"
301+
},
302+
{
303+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_1600.jpeg",
304+
"query_width": null,
305+
"size": {
306+
"width": 1600,
307+
"height": 0
308+
},
309+
"type": "image/jpeg"
310+
},
311+
{
312+
"url": "https://img.sparknews.funkemedien.de/409956367/409956367_1757422505_v16_9_1600.webp",
313+
"query_width": null,
314+
"size": {
315+
"width": 1600,
316+
"height": 0
317+
},
318+
"type": "image/webp"
319+
}
320+
],
321+
"is_cover": false,
322+
"description": "Polizei steht vor dem teilweise beschädigten Strommast im Königsheideweg im Berlin Ortsteil Johannisthal.",
323+
"caption": "Polizei steht vor dem teilweise beschädigten Strommast im Königsheideweg im Berlin Ortsteil Johannisthal.",
324+
"authors": [
325+
"dpa",
326+
"Jens Kalaene"
327+
],
328+
"position": 1095
329+
},
330+
{
331+
"versions": [
332+
{
333+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_600.jpeg",
334+
"query_width": null,
335+
"size": {
336+
"width": 600,
337+
"height": 0
338+
},
339+
"type": "image/jpeg"
340+
},
341+
{
342+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_600.webp",
343+
"query_width": null,
344+
"size": {
345+
"width": 600,
346+
"height": 0
347+
},
348+
"type": "image/webp"
349+
},
350+
{
351+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1200.jpeg",
352+
"query_width": null,
353+
"size": {
354+
"width": 1200,
355+
"height": 0
356+
},
357+
"type": "image/jpeg"
358+
},
359+
{
360+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1200.webp",
361+
"query_width": null,
362+
"size": {
363+
"width": 1200,
364+
"height": 0
365+
},
366+
"type": "image/webp"
367+
},
368+
{
369+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1600.jpeg",
370+
"query_width": null,
371+
"size": {
372+
"width": 1600,
373+
"height": 0
374+
},
375+
"type": "image/jpeg"
376+
},
377+
{
378+
"url": "https://img.sparknews.funkemedien.de/409956368/409956368_1757422506_v16_9_1600.webp",
379+
"query_width": null,
380+
"size": {
381+
"width": 1600,
382+
"height": 0
383+
},
384+
"type": "image/webp"
385+
}
386+
],
387+
"is_cover": false,
388+
"description": "Massiver Ausfall: Die Polizei musste den Verkehr regeln.",
389+
"caption": "Massiver Ausfall: Die Polizei musste den Verkehr regeln.",
390+
"authors": [
391+
"dpa",
392+
"Jens Kalaene"
393+
],
394+
"position": 1110
395+
}
396+
],
397+
"publishing_date": "2025-09-09 12:55:06+00:00",
398+
"title": "Ampeln tot, S-Bahnen stoppen: Wie sicher ist Deutschlands Stromnetz?",
399+
"topics": [
400+
"Energie",
401+
"Berlin"
402+
]
133403
}
134404
}

‎tests/resources/parser/test_data/de/BSZ_2025_09_09.html.gz‎

55.8 KB
Binary file not shown.

0 commit comments

Comments
 (0)