bgt etl: elem.clear() verwacht geen argument

[Michiel-2]

Ik probeer de bgt in te laden in postgis via "./etl-imgeo.sh". Ik had daarvoor via "./download-bgt.sh" al een zip gedownload van block 195.
Op een geven moment krijg ik een TypeError dat elem.clear() geen argument mag hebben. Dit gebeurt wel op regel 160 van bgt/etl/stetlbgt/subfeaturehandler.py
Het argument (keep_tail=True) weghalen zorgt er voor dat de import wel doorgaat. Het resultaat in de DB lijkt te kloppen.

Dit op verse ubuntu 18.04 met postgresql 10 en postgis 2.4 in een virtualbox machine
Vandaag nlextract binnengehaald met: git clone --recursive https://github.com/nlextract/NLExtract.git

[fsteggink]

Welke versie van lxml gebruik je? En treedt het probleem nog steeds op als je de laatste versie gebruikt?

[fsteggink]

Ik gebruik zowel op mijn server als lokaal versie 4.4.2.
In de huidige versie van lxml (4.5.0) en ook in de door mij gebruikte versie is keep_tail een geldig keyword argument: https://lxml.de/api/lxml.etree._Element-class.html#clear
Het lijkt erop dat dit argument in versie 4.3.3 is toegevoegd: lxml/lxml@461eb7d#diff-2dff29115323ac5aa62fa31fa2644d5f

[justb4]

lxml 4.4.2 moet sowieso werken. Eerdere versies als lxml 3.3.3 geven meerdere problemen...

[Michiel-2]

Ik gebruik standaard python-lxml vanuit ubuntu 18.04 en dat is versie 4.2.1: https://packages.ubuntu.com/bionic/python-lxml
Ik ga het binnenkort eens proberen met Ubuntu 20.04. Die beschikt over versie 4.5.0

[justb4]

Tip:

apt-get remove python-lxml
pip install lxml
pip freeze | grep lxml

[fsteggink]

En maak een virtual environment aan. Dan hebben andere Python-projecten er geen last van. Ik gebruik zelf virtualenv of een Docker image, afhankelijk van het project.

[justb4]

Maar wel altijd virtualenv gebruiken als regel! Maar virtualenv trekt tegelijkertijd m.i. niets van native en Debian Python installs (als python-lxml) aan...tenzij je daar heel slimme dingen doet met paden. Nou valt dat wel mee bij lxml maar GDAL is bijv ander verhaal...

[fsteggink]

@Michiel-Idgis Heb je hierover nog voortgang te melden? Is dit issue opgelost met een nieuwere versie van lxml?

[ynte]

Ter aanvulling: keep_tail=True is toegevoegd in versie 4.4.0 van lxml (Changelog). Helaas levert Buster 4.3.3 mee, hierdoor werkt de bgt niet binnen de huidige geopython/stetl container.

@fsteggink voor mij was een nieuwe versie van lxml in ieder geval de oplossing. Dit lijkt mij geen 'bug' in nlextract.