add publisher Pravda

Author: bucheben

docs/supported_publishers.md

@@ -2945,6 +2945,49 @@
 </table>
 
 
+## UA-Publishers
+
+<table class="publishers ua">
+  <thead>
+    <tr>
+      <th>Class&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>Name&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
+      <th>Languages</th>
+      <th>Missing&#160;Attributes</th>
+      <th>Deprecated&#160;Attributes</th>
+      <th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
+    </tr>
+  </thead>
+  <tbody>
+    <tr>
+      <td>
+        <code>Pravda</code>
+      </td>
+      <td>
+        <div>Ukrainska Pravda</div>
+      </td>
+      <td>
+        <a href="https://www.pravda.com.ua">
+          <span>www.pravda.com.ua</span>
+        </a>
+      </td>
+      <td>
+        <code>en</code>
+        <code>ru</code>
+        <code>uk</code>
+      </td>
+      <td>
+        <code>images</code>
+        <code>topics</code>
+      </td>
+      <td>&#160;</td>
+      <td>&#160;</td>
+    </tr>
+  </tbody>
+</table>
+
+
 ## UK-Publishers
 
 <table class="publishers uk">

src/fundus/publishers/__init__.py

@@ -35,6 +35,7 @@
 from fundus.publishers.tr import TR
 from fundus.publishers.tw import TW
 from fundus.publishers.tz import TZ
+from fundus.publishers.ua import UA
 from fundus.publishers.uk import UK
 from fundus.publishers.us import US
 from fundus.publishers.za import ZA
@@ -104,6 +105,7 @@ class PublisherCollection(metaclass=PublisherCollectionMeta):
     tr = TR
     tw = TW
     tz = TZ
+    ua = UA
     uk = UK
     us = US
     za = ZA

src/fundus/publishers/ua/__init__.py

@@ -0,0 +1,20 @@
+from fundus.publishers.base_objects import Publisher, PublisherGroup
+from fundus.scraping.filter import inverse, regex_filter
+from fundus.scraping.url import NewsMap, Sitemap
+
+from .pravda import PravdaParser
+
+
+class UA(metaclass=PublisherGroup):
+    default_language = "uk"
+
+    Pravda = Publisher(
+        name="Ukrainska Pravda",
+        domain="https://www.pravda.com.ua",
+        parser=PravdaParser,
+        sources=[
+            Sitemap("https://www.pravda.com.ua/sitemap/sitemap-archive.xml", languages={"uk", "en", "ru"}),
+            NewsMap("https://www.pravda.com.ua/sitemap/sitemap-news.xml", languages={"uk", "en", "ru"}),
+        ],
+        url_filter=inverse(regex_filter("[^e]pravda.com.ua.*/news/")),
+    )

src/fundus/publishers/ua/pravda.py

@@ -0,0 +1,36 @@
+from datetime import datetime
+from typing import List, Optional
+
+from lxml.cssselect import CSSSelector
+
+from fundus.parser import ArticleBody, BaseParser, ParserProxy, attribute
+from fundus.parser.utility import (
+    extract_article_body_with_selector,
+    generic_author_parsing,
+    generic_date_parsing,
+    image_extraction,
+)
+
+
+class PravdaParser(ParserProxy):
+    class V1(BaseParser):
+        _paragraph_selector = CSSSelector("div.post_news_text > p")
+
+        @attribute
+        def body(self) -> Optional[ArticleBody]:
+            return extract_article_body_with_selector(
+                self.precomputed.doc,
+                paragraph_selector=self._paragraph_selector,
+            )
+
+        @attribute
+        def title(self) -> Optional[str]:
+            return self.precomputed.ld.xpath_search("NewsArticle/headline", scalar=True)
+
+        @attribute
+        def authors(self) -> List[str]:
+            return generic_author_parsing(self.precomputed.ld.xpath_search("ProfilePage/mainEntity/name"))
+
+        @attribute
+        def publishing_date(self) -> Optional[datetime]:
+            return generic_date_parsing(self.precomputed.ld.xpath_search("NewsArticle/datePublished", scalar=True))