Skip to content

Commit b95666a

Browse files
addie9800addie9800
authored
Merge pull request #783 from flairNLP/update-documentation
Update Documentation
2 parents 87bf6a0 + 916a40c commit b95666a

File tree

2 files changed

+35
-1
lines changed

2 files changed

+35
-1
lines changed

‎docs/supported_publishers.md‎

Lines changed: 33 additions & 0 deletions
Original file line numberDiff line numberDiff line change
@@ -54,6 +54,7 @@
5454
</td>
5555
<td>&#160;</td>
5656
<td>&#160;</td>
57+
<td>&#160;</td>
5758
</tr>
5859
<tr>
5960
<td>
@@ -72,6 +73,7 @@
7273
</td>
7374
<td>&#160;</td>
7475
<td>&#160;</td>
76+
<td>&#160;</td>
7577
</tr>
7678
<tr>
7779
<td>
@@ -92,6 +94,7 @@
9294
<code>topics</code>
9395
</td>
9496
<td>&#160;</td>
97+
<td>&#160;</td>
9598
</tr>
9699
<tr>
97100
<td>
@@ -1512,6 +1515,7 @@
15121515
</td>
15131516
<td>&#160;</td>
15141517
<td>&#160;</td>
1518+
<td>&#160;</td>
15151519
</tr>
15161520
<tr>
15171521
<td>
@@ -1530,6 +1534,7 @@
15301534
</td>
15311535
<td>&#160;</td>
15321536
<td>&#160;</td>
1537+
<td>&#160;</td>
15331538
</tr>
15341539
<tr>
15351540
<td>
@@ -1548,6 +1553,7 @@
15481553
</td>
15491554
<td>&#160;</td>
15501555
<td>&#160;</td>
1556+
<td>&#160;</td>
15511557
</tr>
15521558
<tr>
15531559
<td>
@@ -1566,6 +1572,7 @@
15661572
</td>
15671573
<td>&#160;</td>
15681574
<td>&#160;</td>
1575+
<td>&#160;</td>
15691576
</tr>
15701577
</tbody>
15711578
</table>
@@ -1678,6 +1685,7 @@
16781685
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
16791686
<th>Languages</th>
16801687
<th>Missing&#160;Attributes</th>
1688+
<th>Deprecated&#160;Attributes</th>
16811689
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
16821690
</tr>
16831691
</thead>
@@ -1699,6 +1707,7 @@
16991707
</td>
17001708
<td>&#160;</td>
17011709
<td>&#160;</td>
1710+
<td>&#160;</td>
17021711
</tr>
17031712
</tbody>
17041713
</table>
@@ -1714,6 +1723,7 @@
17141723
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
17151724
<th>Languages</th>
17161725
<th>Missing&#160;Attributes</th>
1726+
<th>Deprecated&#160;Attributes</th>
17171727
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
17181728
</tr>
17191729
</thead>
@@ -1738,6 +1748,7 @@
17381748
<code>topics</code>
17391749
</td>
17401750
<td>&#160;</td>
1751+
<td>&#160;</td>
17411752
</tr>
17421753
</tbody>
17431754
</table>
@@ -1810,6 +1821,7 @@
18101821
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
18111822
<th>Languages</th>
18121823
<th>Missing&#160;Attributes</th>
1824+
<th>Deprecated&#160;Attributes</th>
18131825
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
18141826
</tr>
18151827
</thead>
@@ -1833,6 +1845,7 @@
18331845
<code>topics</code>
18341846
</td>
18351847
<td>&#160;</td>
1848+
<td>&#160;</td>
18361849
</tr>
18371850
</tbody>
18381851
</table>
@@ -1892,6 +1905,7 @@
18921905
<code>topics</code>
18931906
</td>
18941907
<td>&#160;</td>
1908+
<td>&#160;</td>
18951909
</tr>
18961910
<tr>
18971911
<td>
@@ -2139,6 +2153,7 @@
21392153
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
21402154
<th>Languages</th>
21412155
<th>Missing&#160;Attributes</th>
2156+
<th>Deprecated&#160;Attributes</th>
21422157
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
21432158
</tr>
21442159
</thead>
@@ -2160,6 +2175,7 @@
21602175
</td>
21612176
<td>&#160;</td>
21622177
<td>&#160;</td>
2178+
<td>&#160;</td>
21632179
</tr>
21642180
<tr>
21652181
<td>
@@ -2180,6 +2196,7 @@
21802196
<code>topics</code>
21812197
</td>
21822198
<td>&#160;</td>
2199+
<td>&#160;</td>
21832200
</tr>
21842201
</tbody>
21852202
</table>
@@ -2195,6 +2212,7 @@
21952212
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
21962213
<th>Languages</th>
21972214
<th>Missing&#160;Attributes</th>
2215+
<th>Deprecated&#160;Attributes</th>
21982216
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
21992217
</tr>
22002218
</thead>
@@ -2218,6 +2236,7 @@
22182236
<code>topics</code>
22192237
</td>
22202238
<td>&#160;</td>
2239+
<td>&#160;</td>
22212240
</tr>
22222241
</tbody>
22232242
</table>
@@ -2233,6 +2252,7 @@
22332252
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
22342253
<th>Languages</th>
22352254
<th>Missing&#160;Attributes</th>
2255+
<th>Deprecated&#160;Attributes</th>
22362256
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
22372257
</tr>
22382258
</thead>
@@ -2256,6 +2276,7 @@
22562276
<code>topics</code>
22572277
</td>
22582278
<td>&#160;</td>
2279+
<td>&#160;</td>
22592280
</tr>
22602281
</tbody>
22612282
</table>
@@ -2309,6 +2330,7 @@
23092330
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
23102331
<th>Languages</th>
23112332
<th>Missing&#160;Attributes</th>
2333+
<th>Deprecated&#160;Attributes</th>
23122334
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
23132335
</tr>
23142336
</thead>
@@ -2330,6 +2352,7 @@
23302352
</td>
23312353
<td>&#160;</td>
23322354
<td>&#160;</td>
2355+
<td>&#160;</td>
23332356
</tr>
23342357
<tr>
23352358
<td>
@@ -2350,6 +2373,7 @@
23502373
<code>topics</code>
23512374
</td>
23522375
<td>&#160;</td>
2376+
<td>&#160;</td>
23532377
</tr>
23542378
</tbody>
23552379
</table>
@@ -2365,6 +2389,7 @@
23652389
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
23662390
<th>Languages</th>
23672391
<th>Missing&#160;Attributes</th>
2392+
<th>Deprecated&#160;Attributes</th>
23682393
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
23692394
</tr>
23702395
</thead>
@@ -2386,6 +2411,7 @@
23862411
</td>
23872412
<td>&#160;</td>
23882413
<td>&#160;</td>
2414+
<td>&#160;</td>
23892415
</tr>
23902416
</tbody>
23912417
</table>
@@ -2657,6 +2683,7 @@
26572683
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
26582684
<th>Languages</th>
26592685
<th>Missing&#160;Attributes</th>
2686+
<th>Deprecated&#160;Attributes</th>
26602687
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
26612688
</tr>
26622689
</thead>
@@ -2680,6 +2707,7 @@
26802707
<code>topics</code>
26812708
</td>
26822709
<td>&#160;</td>
2710+
<td>&#160;</td>
26832711
</tr>
26842712
</tbody>
26852713
</table>
@@ -2695,6 +2723,7 @@
26952723
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
26962724
<th>Languages</th>
26972725
<th>Missing&#160;Attributes</th>
2726+
<th>Deprecated&#160;Attributes</th>
26982727
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
26992728
</tr>
27002729
</thead>
@@ -2716,6 +2745,7 @@
27162745
</td>
27172746
<td>&#160;</td>
27182747
<td>&#160;</td>
2748+
<td>&#160;</td>
27192749
</tr>
27202750
</tbody>
27212751
</table>
@@ -3575,6 +3605,7 @@
35753605
<th>URL&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;&#160;</th>
35763606
<th>Languages</th>
35773607
<th>Missing&#160;Attributes</th>
3608+
<th>Deprecated&#160;Attributes</th>
35783609
<th>Additional&#160;Attributes&#160;&#160;&#160;&#160;</th>
35793610
</tr>
35803611
</thead>
@@ -3596,6 +3627,7 @@
35963627
</td>
35973628
<td>&#160;</td>
35983629
<td>&#160;</td>
3630+
<td>&#160;</td>
35993631
</tr>
36003632
<tr>
36013633
<td>
@@ -3614,6 +3646,7 @@
36143646
</td>
36153647
<td>&#160;</td>
36163648
<td>&#160;</td>
3649+
<td>&#160;</td>
36173650
</tr>
36183651
</tbody>
36193652
</table>

‎tests/test_publisher_collection.py‎

Lines changed: 2 additions & 1 deletion
Original file line numberDiff line numberDiff line change
@@ -8,12 +8,13 @@
88

99
from fundus import PublisherCollection
1010
from fundus.publishers import Publisher, PublisherGroup
11+
from fundus.scraping.session import _default_header
1112

1213
_language_code_selector = XPath("//table[contains(@class, 'wikitable') and @id='Table'] //td[@id] / @id")
1314

1415

1516
def get_two_letter_code() -> List[str]:
16-
wiki_page = requests.get("https://en.wikipedia.org/wiki/List_of_ISO_639_language_codes")
17+
wiki_page = requests.get("https://en.wikipedia.org/wiki/List_of_ISO_639_language_codes", headers=_default_header)
1718
two_letter_codes: List[str] = _language_code_selector(lxml.html.document_fromstring(wiki_page.content))
1819
return two_letter_codes
1920

0 commit comments

Comments
 (0)