bgt docker: overriding postgres vars bij aanroep lijkt niet te werken?

[rduivenvoorde]

Het draaien van het bagv2 script middels docker en daarbij het overriden van postgres db params gaat super op Debian met:

docker run --rm --name nlextract --network host -v $(pwd):/work nlextract/nlextract:latest bagv2/etl/etl.sh -a bag_input_file=/work/lvbag-extract-nl.zip -a pg_user=geo -a password=pw -a pg_db=geo -a schema=bag -a pg_host=localhost

(met --network host deelt de container het netwerk met de host en kun je dus verwijzen naar localhost voor een db die op dezelfde host draait)

Maar als ik datzelfde doe met de het bgt script, dan lijkt het:

docker run --rm --name nlextract --network host -v $(pwd):/work nlextract/nlextract:latest bgt/etl/etl.sh -a user=geo -a password=pw -a database=geo -a schema=bgt -a host=localhost

Dan blijf ik in de log zien dat de default pg params worden gebruikt.

En ook na het overzetten van die params in een file en dan ernaar verwijzen:

docker run --rm --name nlextract --network host -v $(pwd):/work nlextract/nlextract:latest bgt/etl/etl.sh -a bgt_db.args

lijkt niet te werken?

Zou het moeten werken? Of zijn nog niet alle etl.sh files 'docker aware' ?

[justb4]

Gemigreerd naar Discussion. Als er toch een echt probleem is, kunnen we daarvoor specifiek issue openen.

Denk dat de verwarring is, dat niet alle etl.sh scripts 'gelijkgeschakeld' zijn. Er is ooit begin gemaakt in NLExtract Dag maar nog niet afgerond. In 2020 is daarna nog BAG v2 ontwikkeld met modernere etl.sh.

Lang verhaal kort: voor de BGT moet een .args bestand gemaakt, of default.args aanpassen en direct als argument aan etl.sh meegegeven. Zie ook de README, dus iets als:

docker run --rm --name nlextract --network host -v $(pwd):/work nlextract/nlextract:latest bgt/etl/etl.sh /work/bgt_db.args

De specifieke/eigen, hier bgt_db.args, net als eventuele BGT bronbestand(en), moet(en) dan wel 'gemount' worden naar /work in de Container. bgt/etl/etl.sh zit al in Docker Image. De GitHub repo is dus geeneens nodig.

[rduivenvoorde]

Dank! Dit 'just works' inderdaad.

Enige was dat ALLE vars uit default.args aanwezig moeten zijn, maar het volgende in bgt_db.args opgenomen:

input_dir=/work/
user=geo
password=pw
database=geo
schema=bgt
host=localhost
port=5432
gfs_template=gfs/imgeo-v2.1.1.gfs
filename_match=*.gml
temp_dir=temp
multi_opts=-fieldTypeToString StringList
spatial_extent=
delete_dups=
max_features=20000

en dan zowel de gedownloade bgt gml zip als de args file in current dir, en dan:

docker run --rm --name nlextract --network host -v $(pwd):/work nlextract/nlextract:latest bgt/etl/etl.sh /work/bgt_db.args

loopt nu gewoon.