Progress2 (will squash at the end)

Author: bucheben

docs/supported_publishers.md

@@ -2945,6 +2945,49 @@
 </table>
 
 
+## UA-Publishers
+
+<table class="publishers ua">
+  <thead>
+    <tr>
+      <th>Class&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>Name&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>Languages</th>
+      <th>Missing&#160;Attributes</th>
+      <th>Deprecated&#160;Attributes</th>
+      <th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
+    </tr>
+  </thead>
+  <tbody>
+    <tr>
+      <td>
+        <code>Pravda</code>
+      </td>
+      <td>
+        <div>Ukrainska Pravda</div>
+      </td>
+      <td>
+        <a href="https://www.pravda.com.ua">
+          <span>www.pravda.com.ua</span>
+        </a>
+      </td>
+      <td>
+        <code>en</code>
+        <code>rus</code>
+        <code>uk</code>
+      </td>
+      <td>
+        <code>images</code>
+        <code>topics</code>
+      </td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+    </tr>
+  </tbody>
+</table>
+
+
 ## UK-Publishers
 
 <table class="publishers uk">

src/fundus/publishers/ua/__init__.py

@@ -1,16 +1,17 @@
-from fundus.scraping.url import NewsMap, RSSFeed, Sitemap
 from fundus.publishers.base_objects import Publisher, PublisherGroup
+from fundus.scraping.url import NewsMap, RSSFeed, Sitemap
 
 from .pravda import PravdaParser
 
+
 class UA(metaclass=PublisherGroup):
     default_language = "uk"
 
     Pravda = Publisher(
         name="Ukrainska Pravda",
         domain="https://www.pravda.com.ua",
         parser=PravdaParser,
-        sources = [
-            NewsMap("https://www.pravda.com.ua/sitemap/sitemap-news.xml", languages={  "uk", "en", "rus" }),
-        ]
+        sources=[
+            NewsMap("https://www.pravda.com.ua/sitemap/sitemap-news.xml", languages={"uk", "en", "rus"}),
+        ],
     )

src/fundus/publishers/ua/pravda.py

@@ -4,8 +4,7 @@
 from lxml.cssselect import CSSSelector
 from lxml.etree import XPath
 
-from fundus.parser import ParserProxy, BaseParser, attribute
-#from fundus.parser import ArticleBody, BaseParser, Image, ParserProxy, attribute
+from fundus.parser import ArticleBody, BaseParser, Image, ParserProxy, attribute
 from fundus.parser.utility import (
     extract_article_body_with_selector,
     generic_author_parsing,
@@ -14,39 +13,28 @@
 )
 
 
-
 class PravdaParser(ParserProxy):
     class V1(BaseParser):
-        #_summary_selector = XPath(
-            
-            #"//p[@class='post__excerpt'] | //h2[preceding-sibling::h1[contains(@class, 'post__title')]]"
-        #)
-        #_paragraph_selector = CSSSelector("div.entry-content > div.entry-content__content > p, blockquote > p")
-        #_subheadline_selector = CSSSelector("div.entry-content > div.entry-content__content > h2")
-
-        #@attribute
-        #def body(self) -> Optional[ArticleBody]:
-            #return extract_article_body_with_selector(
-                #self.precomputed.doc,
-                #summary_selector=self._summary_selector,
-                #subheadline_selector=self._subheadline_selector,
-                #paragraph_selector=self._paragraph_selector,
-            #)
+        _paragraph_selector = CSSSelector("div.post_news_text > p")
+        # _summary_selector = CSSSelector("/html/head/meta[name='description']")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+            )
 
         @attribute
         def title(self) -> Optional[str]:
-            return self.precomputed.ld.xpath_search("NewsArticle/headline")[0]
+            return self.precomputed.ld.xpath_search("NewsArticle/headline", scalar=True)
 
         @attribute
         def authors(self) -> List[str]:
-            # The first hit is the name of the news source itself
-            print(generic_author_parsing(self.precomputed.ld.xpath_search('NewsArticle/author/name')[1:]))
-            return generic_author_parsing(self.precomputed.ld.xpath_search('NewsArticle/author/name')[1:])
+            # print(self.precomputed.ld.__dict__)
+            print(generic_author_parsing(self.precomputed.ld.xpath_search("ProfilePage/mainEntity/name")))
+            return generic_author_parsing(self.precomputed.ld.xpath_search("ProfilePage/mainEntity/name"))
 
         @attribute
         def publishing_date(self) -> Optional[datetime]:
-            return generic_date_parsing(self.precomputed.ld.xpath_search("NewsArticle/datePublished")[1])
-
-        
-
-
+            return generic_date_parsing(self.precomputed.ld.xpath_search("NewsArticle/datePublished", scalar=True))

tests/resources/parser/test_data/ua/Pravda.json

@@ -0,0 +1,26 @@
+{
+  "V1": {
+    "authors": [
+      "Віктор Волокіта"
+    ],
+    "body": {
+      "summary": [],
+      "sections": [
+        {
+          "headline": [],
+          "paragraphs": [
+            "Міністерство цифрової трансформації України та державне агентство з контролю за гральним та лотерейним бізнесом PlayCity вперше встановлять ліміти для гравців в азартні ігри.",
+            "Про це повідомляє пресслужба Мінцифри.",
+            "\"Розробили спільно з PlayCity документ, за яким українці самостійно визначають часові та фінансові ліміти для гри — на день, тиждень чи місяць. Використали найкращу світову практику, щоб боротися з ігровою залежністю в українців\", - йдеться в повідомленні.",
+            "Що передбачає документ:",
+            "Зазначається, що текст проєкту наказу опубліковано на сайті Мінцифри. Після громадського обговорення документ опрацюють та узгодять з державними органами. Далі — його приймуть.",
+            "Нагадаємо:",
+            "Державне агентство з контролю за гральним та лотерейним бізнесом PlayCity оголосило тендер на створення Реєстру осіб, яким обмежено участь в азартних іграх."
+          ]
+        }
+      ]
+    },
+    "publishing_date": "2025-10-24 15:26:00",
+    "title": "В Україні вперше встановлять ліміти для гравців азартних ігор"
+  }
+}

tests/resources/parser/test_data/ua/Pravda_2025_10_24.html.gz

@@ -0,0 +1,6 @@
+{
+  "Pravda_2025_10_24.html.gz": {
+    "url": "https://epravda.com.ua/tehnologiji/yak-v-ukrajini-diyatimut-limiti-dlya-gravciv-azartnih-igor-813313",
+    "crawl_date": "2025-10-24 15:15:05.296765"
+  }
+}