Add table extraction to Makefile

Author: mkardas

Makefile

@@ -3,19 +3,25 @@ ANNOTATIONS_DIR = $(DATA_DIR)/annotations
 ARCHIVES_DIR = $(DATA_DIR)/arxiv/sources
 UNPACKED_DIR = $(DATA_DIR)/arxiv/unpacked_sources
 HTMLS_DIR = $(DATA_DIR)/arxiv/htmls
+TABLES_DIR = $(DATA_DIR)/arxiv/tables
 
 ARCHIVES = $(wildcard $(ARCHIVES_DIR)/*)
 UNPACKS  = $(patsubst $(ARCHIVES_DIR)/%,$(UNPACKED_DIR)/%,$(ARCHIVES))
 HTMLS    = $(patsubst $(ARCHIVES_DIR)/%,$(HTMLS_DIR)/%.html,$(ARCHIVES))
+TABLES   = $(patsubst $(ARCHIVES_DIR)/%,$(TABLES_DIR)/%,$(ARCHIVES))
 
-$(shell mkdir -p "$(DATA_DIR)")
-$(shell mkdir -p "$(HTMLS_DIR)")
+$(shell mkdir -p "$(DATA_DIR)" "$(HTMLS_DIR)" "$(TABLES_DIR)")
 
 .PHONY: all
-all:	$(ANNOTATIONS_DIR)/pdfs-urls.csv $(ANNOTATIONS_DIR)/sources-urls.csv convert_all
+all:	$(ANNOTATIONS_DIR)/pdfs-urls.csv $(ANNOTATIONS_DIR)/sources-urls.csv extract_all
+
+extract_all: $(TABLES)
 
 convert_all: $(HTMLS)
 
+$(TABLES): $(TABLES_DIR)/%: $(HTMLS_DIR)/%.html
+	python ./extract_tables.py $^ --outdir $(TABLES_DIR)
+
 $(HTMLS): $(HTMLS_DIR)/%.html: $(UNPACKED_DIR)/%
 	./docker-latex2html.sh $(HTMLS_DIR) $^