Skip to content

Commit 4f0ee32

Browse files
addie9800addie9800
committed
Add WAZ
1 parent 577f38f commit 4f0ee32

File tree

4 files changed

+257
-1
lines changed

4 files changed

+257
-1
lines changed

‎src/fundus/publishers/de/waz.py‎

Lines changed: 6 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -13,6 +13,7 @@
1313
generic_topic_parsing,
1414
image_extraction,
1515
)
16+
from fundus.publishers.de.funke import FunkeParser
1617

1718

1819
class WAZParser(ParserProxy):
@@ -67,11 +68,15 @@ def images(self) -> List[Image]:
6768
)
6869

6970
class V1_1(V1):
70-
VALID_UNTIL = datetime.date.today()
71+
VALID_UNTIL = datetime.date(2025, 8, 24)
7172

7273
_paragraph_selector = XPath(
7374
"//div[@class='article-body'] /p[position()>1 and not(@rel='author' or re:test(string(), '^>>.*[+]{3}'))]",
7475
namespaces={"re": "http://exslt.org/regular-expressions"},
7576
)
7677
_summary_selector = XPath("//div[@class='article-body'] /p[position()=1]")
7778
_subheadline_selector = XPath("//div[@class='article-body'] / h3[not(text()='Auch interessant')]")
79+
80+
class V2(FunkeParser.V1_1):
81+
# It seems like WAZ was bought by Funke and now uses the same layout
82+
VALID_UNTIL = datetime.date.today()

‎tests/resources/parser/test_data/de/WAZ.json‎

Lines changed: 247 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -366,5 +366,252 @@
366366
"Duisburg",
367367
"Cannes"
368368
]
369+
},
370+
"V2": {
371+
"authors": [
372+
"Eileen Wagner"
373+
],
374+
"body": {
375+
"summary": [
376+
"Berlin. Die Ex-Grünen-Vorsitzende Ricarda Lang attackiert Julia Klöckner. Mit Symboldebatten, so Lang, schade die CDU-Politikerin ihrem Amt."
377+
],
378+
"sections": [
379+
{
380+
"headline": [],
381+
"paragraphs": [
382+
"Die neue Bundestagspräsidentin Julia Klöckner (CDU) steht seit Wochen unter Beschuss. Erst äußerte sich ein früherer Vizekanzler ungewöhnlich deutlich, nun meldet sich auch Ricarda Lang zu Wort. Die ehemalige Grünen-Vorsitzende findet klare Worte: In einem Podcast des „Stern“ nannte sie Klöckner eine „Polarisierungsunternehmerin“. Klöckner gehe es nicht um „die realen Probleme vieler Menschen“, sondern um „Empörungs- und Symboldebatten“.",
383+
"Diese Form der Politik spalte, so Lang, nicht nur Parteien, sondern die Gesellschaft insgesamt. Für das höchste Parlamentsamt sei das gefährlich."
384+
]
385+
},
386+
{
387+
"headline": [
388+
"Bundestagspräsidentin soll „über Parteipolitik stehen“"
389+
],
390+
"paragraphs": [
391+
"Nach Ansicht von Lang hat die Bundestagspräsidentin eine besondere Rolle: Sie müsse die Demokratie als Ganzes repräsentieren und dürfe sich nicht in parteipolitischen Scharmützeln verlieren. Der Vergleich mit Klöckners Vorgängern fällt deutlich aus. „Wolfgang Schäuble und Norbert Lammert hatten klare Positionen“, sagte Lang. „Aber sie haben sie so eingebracht, dass wir gesellschaftlich weitergekommen sind.“",
392+
"Bereits zuvor hatte Robert Habeck, der frühere Vizekanzler der Grünen, Klöckner scharf attackiert. Sie habe „immer nur polarisiert, polemisiert und gespalten“, so Habeck. Darum sei für ihn von Beginn an klar gewesen: Klöckner sei als Bundestagspräsidentin eine „Fehlbesetzung“."
393+
]
394+
},
395+
{
396+
"headline": [
397+
"Exklusive Politik-Hintergründe – für Sie recherchiert",
398+
"Julia Klöckner weist Vorwürfe zurück"
399+
],
400+
"paragraphs": [
401+
"Klöckner selbst reagierte mit einer Mischung aus Abwehr und Appell. Die CDU-Politikerin wies die Vorwürfe zurück und rief stattdessen zu mehr Respekt in politischen Debatten auf. Rückendeckung erhält sie von CDU-Generalsekretär Carsten Linnemann, der ihre Amtsführung verteidigte."
402+
]
403+
},
404+
{
405+
"headline": [
406+
"Kontroversen um Klöckners Entscheidungen"
407+
],
408+
"paragraphs": [
409+
"Tatsächlich hat Klöckner in den ersten Monaten ihrer Amtszeit mehrfach Kontroversen ausgelöst. Besonders scharf kritisiert wurde ihre Entscheidung, das Hissen der Regenbogenflagge am Bundestag zu untersagen. Auch in einer Auseinandersetzung mit Abgeordneten der Linkspartei über die Kleiderordnung im Parlament sorgte sie für Schlagzeilen.",
410+
"Diese Entscheidungen nährten den Vorwurf, Klöckner nutze ihr Amt nicht zur überparteilichen Vermittlung, sondern setze politische Zeichen, die vor allem polarisieren.",
411+
"mit dpa"
412+
]
413+
}
414+
]
415+
},
416+
"images": [
417+
{
418+
"versions": [
419+
{
420+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_200.jpeg",
421+
"query_width": "max-width:599",
422+
"size": {
423+
"width": 200,
424+
"height": 0
425+
},
426+
"type": "image/jpeg"
427+
},
428+
{
429+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_200.webp",
430+
"query_width": "max-width:599",
431+
"size": {
432+
"width": 200,
433+
"height": 0
434+
},
435+
"type": "image/webp"
436+
},
437+
{
438+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_400.jpeg",
439+
"query_width": "max-width:599",
440+
"size": {
441+
"width": 400,
442+
"height": 0
443+
},
444+
"type": "image/jpeg"
445+
},
446+
{
447+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_400.webp",
448+
"query_width": "max-width:599",
449+
"size": {
450+
"width": 400,
451+
"height": 0
452+
},
453+
"type": "image/webp"
454+
},
455+
{
456+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_400.jpeg",
457+
"query_width": "max-width:959",
458+
"size": {
459+
"width": 400,
460+
"height": 0
461+
},
462+
"type": "image/jpeg"
463+
},
464+
{
465+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_400.webp",
466+
"query_width": "max-width:959",
467+
"size": {
468+
"width": 400,
469+
"height": 0
470+
},
471+
"type": "image/webp"
472+
},
473+
{
474+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_600.jpeg",
475+
"query_width": "max-width:959",
476+
"size": {
477+
"width": 600,
478+
"height": 0
479+
},
480+
"type": "image/jpeg"
481+
},
482+
{
483+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_600.webp",
484+
"query_width": "max-width:959",
485+
"size": {
486+
"width": 600,
487+
"height": 0
488+
},
489+
"type": "image/webp"
490+
},
491+
{
492+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_600.jpeg",
493+
"query_width": "min-width:960",
494+
"size": {
495+
"width": 600,
496+
"height": 0
497+
},
498+
"type": "image/jpeg"
499+
},
500+
{
501+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_600.webp",
502+
"query_width": "min-width:960",
503+
"size": {
504+
"width": 600,
505+
"height": 0
506+
},
507+
"type": "image/webp"
508+
},
509+
{
510+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_800.jpeg",
511+
"query_width": "max-width:599",
512+
"size": {
513+
"width": 800,
514+
"height": 0
515+
},
516+
"type": "image/jpeg"
517+
},
518+
{
519+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_800.webp",
520+
"query_width": "max-width:599",
521+
"size": {
522+
"width": 800,
523+
"height": 0
524+
},
525+
"type": "image/webp"
526+
},
527+
{
528+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_800.jpeg",
529+
"query_width": "max-width:959",
530+
"size": {
531+
"width": 800,
532+
"height": 0
533+
},
534+
"type": "image/jpeg"
535+
},
536+
{
537+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v4_3_800.webp",
538+
"query_width": "max-width:959",
539+
"size": {
540+
"width": 800,
541+
"height": 0
542+
},
543+
"type": "image/webp"
544+
},
545+
{
546+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_1200.jpeg",
547+
"query_width": "max-width:599",
548+
"size": {
549+
"width": 1200,
550+
"height": 0
551+
},
552+
"type": "image/jpeg"
553+
},
554+
{
555+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v1_1_1200.webp",
556+
"query_width": "max-width:599",
557+
"size": {
558+
"width": 1200,
559+
"height": 0
560+
},
561+
"type": "image/webp"
562+
},
563+
{
564+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_1200.jpeg",
565+
"query_width": "min-width:960",
566+
"size": {
567+
"width": 1200,
568+
"height": 0
569+
},
570+
"type": "image/jpeg"
571+
},
572+
{
573+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_1200.webp",
574+
"query_width": "min-width:960",
575+
"size": {
576+
"width": 1200,
577+
"height": 0
578+
},
579+
"type": "image/webp"
580+
},
581+
{
582+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_1600.jpeg",
583+
"query_width": "min-width:960",
584+
"size": {
585+
"width": 1600,
586+
"height": 0
587+
},
588+
"type": "image/jpeg"
589+
},
590+
{
591+
"url": "https://img.sparknews.funkemedien.de/409960902/409960902_1757490812_v16_9_1600.webp",
592+
"query_width": "min-width:960",
593+
"size": {
594+
"width": 1600,
595+
"height": 0
596+
},
597+
"type": "image/webp"
598+
}
599+
],
600+
"is_cover": true,
601+
"description": "Ricarda Lang",
602+
"caption": "Ricarda Lang im Bundestag: Die frühere Grünen-Vorsitzende kritisierte Julia Klöckner scharf und sprach von einer „Polarisierungsunternehmerin“.",
603+
"authors": [
604+
"Niklas Treppner/dpa",
605+
"Niklas Treppner"
606+
],
607+
"position": 1235
608+
}
609+
],
610+
"publishing_date": "2025-09-10 07:53:32+00:00",
611+
"title": "Grünen-Spitze gegen Klöckner: Nun attackiert auch Ricarda Lang",
612+
"topics": [
613+
"Julia Klöckner",
614+
"Grüne"
615+
]
369616
}
370617
}

‎tests/resources/parser/test_data/de/WAZ_2025_09_10.html.gz‎

51.6 KB
Binary file not shown.

‎tests/resources/parser/test_data/de/meta.info‎

Lines changed: 4 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -243,6 +243,10 @@
243243
"url": "https://www.waz.de/staedte/duisburg/article241847490/Erstes-Bild-So-koennte-die-Duisburger-Seilbahn-aussehen.html",
244244
"crawl_date": "2024-03-08 19:08:06.071698"
245245
},
246+
"WAZ_2025_09_10.html.gz": {
247+
"url": "https://www.waz.de/politik/article409961272/gruenen-spitze-gegen-kloeckner-nun-attackiert-auch-ricarda-lang.html",
248+
"crawl_date": "2025-09-10 13:22:04.905974"
249+
},
246250
"WDR_2024_04_22.html.gz": {
247251
"url": "https://www1.wdr.de/nachrichten/landespolitik/feuerwehr-rentenalter-erhoehung-100.html",
248252
"crawl_date": "2024-04-22 14:41:05.704325"

0 commit comments

Comments
 (0)