Add searching differences in type 3 font forming

DEVSIX-2773

Author: ar3em

kernel/src/main/java/com/itextpdf/kernel/font/PdfType3Font.java

@@ -64,6 +64,8 @@ This file is part of the iText (R) project.
 import org.slf4j.Logger;
 import org.slf4j.LoggerFactory;
 
+import java.util.Map;
+
 /**
  * Low-level API class for Type 3 fonts.
  * <p>
@@ -141,13 +143,38 @@ public class PdfType3Font extends PdfSimpleFont<Type3Font> {
         }
         setFontMatrix(fontMatrix);
 
+        if (toUnicode != null && toUnicode.hasByteMappings() && fontEncoding.hasDifferences()) {
+            for (int i = 0; i < 256; i++) {
+                int unicode = fontEncoding.getUnicode(i);
+                PdfName glyphName = new PdfName(fontEncoding.getDifference(i));
+                if (unicode != -1
+                        && !glyphName.getValue().equals(FontEncoding.NOTDEF)
+                        && charProcsDic.containsKey(glyphName)) {
+                    ((Type3Font) getFontProgram()).addGlyph(i, unicode, widths[i], null, new Type3Glyph(charProcsDic.getAsStream(glyphName), getDocument()));
+                }
+            }
+        }
+
+
+        Map<Integer, Integer> unicodeToCode = null;
+        if (toUnicode != null) {
+            try { unicodeToCode = toUnicode.createReverseMapping(); } catch (Exception ignored){}
+        }
+
         for (PdfName glyphName : charProcsDic.keySet()) {
             int unicode = AdobeGlyphList.nameToUnicode(glyphName.getValue());
-            if (unicode != -1 && fontEncoding.canEncode(unicode)) {
-                int code = fontEncoding.convertToByte(unicode);
-                ((Type3Font) getFontProgram()).addGlyph(code, unicode, widths[code], null, new Type3Glyph(charProcsDic.getAsStream(glyphName), getDocument()));
+            int code = -1;
+            if (fontEncoding.canEncode(unicode)) {
+                code = fontEncoding.convertToByte(unicode);
+            } else if (unicodeToCode != null && unicodeToCode.containsKey(unicode)) {
+                code = (int) unicodeToCode.get(unicode);
+            }
+            if (code != -1 && getFontProgram().getGlyphByCode(code) == null) {
+                ((Type3Font) getFontProgram()).addGlyph(code, unicode, widths[code],
+                        null, new Type3Glyph(charProcsDic.getAsStream(glyphName), getDocument()));
             }
         }
+
         fillFontDescriptor(fontDictionary.getAsDictionary(PdfName.FontDescriptor));
     }
 

layout/src/test/java/com/itextpdf/layout/LocationTextExtractionStrategyTest.java

@@ -46,10 +46,12 @@ This file is part of the iText (R) project.
 import com.itextpdf.kernel.colors.ColorConstants;
 import com.itextpdf.kernel.font.PdfFont;
 import com.itextpdf.kernel.font.PdfFontFactory;
+import com.itextpdf.kernel.font.PdfType3Font;
 import com.itextpdf.kernel.geom.AffineTransform;
 import com.itextpdf.kernel.geom.PageSize;
 import com.itextpdf.kernel.geom.Rectangle;
 import com.itextpdf.kernel.geom.Vector;
+import com.itextpdf.kernel.pdf.PdfDictionary;
 import com.itextpdf.kernel.pdf.PdfDocument;
 import com.itextpdf.kernel.pdf.PdfPage;
 import com.itextpdf.kernel.pdf.PdfReader;
@@ -71,6 +73,7 @@ This file is part of the iText (R) project.
 import java.io.ByteArrayInputStream;
 import java.io.ByteArrayOutputStream;
 import java.io.IOException;
+import java.nio.charset.StandardCharsets;
 
 import org.junit.Assert;
 import org.junit.Test;
@@ -220,6 +223,30 @@ public void testLittleFontSize() throws Exception {
         Assert.assertEquals("Preface", text);
     }
 
+    @Test
+    public void testType3FontWithDifferences() throws IOException {
+        String sourcePdf = sourceFolder + "DocumentWithType3FontWithDifferences.pdf";
+        String comparedTextFile = sourceFolder + "textFromDocWithType3FontWithDifferences.txt";
+
+        PdfDocument pdf = new PdfDocument(new PdfReader(sourcePdf));
+        String result = PdfTextExtractor.getTextFromPage(pdf.getPage(1), new LocationTextExtractionStrategy());
+
+        PdfDictionary pdfType3FontDict = (PdfDictionary) pdf.getPdfObject(292);
+        PdfType3Font pdfType3Font = (PdfType3Font) PdfFontFactory.createFont(pdfType3FontDict);
+
+        pdf.close();
+
+        Assert.assertEquals(new String(java.nio.file.Files.readAllBytes(new java.io.File(comparedTextFile).toPath()), StandardCharsets.UTF_8), result);
+
+        Assert.assertEquals(83, pdfType3Font.getNumberOfGlyphs());
+
+        Assert.assertEquals("gA", pdfType3Font.getFontEncoding().getDifference(10));
+        Assert.assertEquals(41, pdfType3Font.getFontProgram().getGlyphByCode(10).getUnicode());
+
+        Assert.assertEquals(".notdef", pdfType3Font.getFontEncoding().getDifference(210));
+        Assert.assertEquals(928, pdfType3Font.getFontProgram().getGlyphByCode(210).getUnicode());
+    }
+
     private byte[] createPdfWithNegativeCharSpacing(String str1, float charSpacing, String str2) throws Exception {
         ByteArrayOutputStream baos = new ByteArrayOutputStream();
         PdfDocument pdfDocument = new PdfDocument(new PdfWriter(baos).setCompressionLevel(0));

layout/src/test/resources/com/itextpdf/layout/LocationTextExtractionStrategyTest/DocumentWithType3FontWithDifferences.pdf

@@ -0,0 +1,51 @@
+11/27/2018 Pravilnik o zaštiti radnika od izloženosti opasnim kemikalijama na radu, graničnim vrijednostima izloženosti i biološkim graničnim vrijednostima
+OZNAKE U TABLICI
+– EZ broj – EINECS, ELINCS ili NLP slu žbeni je broj tvari u Europskoj uniji, kako je utvrđeno pod točkom 1.1.1.2., dio 1.
+Priloga VI. Uredbe (EZ) br. 1272/2008
+– CAS broj – registarski broj prema Međunarodnom popisu kemijskih tvari (engl. Chemical Abstract Service)
+Oznake za kolone »GVI« i »KGVI«:
+3 3 3
+– ppm – dijelova na milijun u volumenu zraka (ml/m i cm /m )
+3
+– mg/m – miligrami po kubičnom metru zraka pri 20 °C i 101,3 kPa (760 mm tlaka žive)
+3 3
+– vl/cm – broj vlakana po kubičnom centimetru (posebno je označeno ispod broja u koloni za »mg/m «)
+3
+– U – ukupna pra šina, inhalabilne čestice (sve vrijednosti u kolonama za »mg/m « odnose se na ukupnu pra šinu,
+posebno se označava samo u kombinaciji s oznakama za R-respirabilnu pra šinu)
+– R – respirabilna pra šina, frakcija koja udisanjem može doprijeti u pluća
+Oznake za kolonu »Direktiva«:
+– sve oznake odnose se na brojeve iz direktiva navedenih u članku 2. ovoga Pravilnika
+Oznake za kolonu »Napomena«:
+– odnose se na tvari koje se nalaze na popisu usklađenog razvrstavanja i označavanja u Prilogu VI. Uredbe (EZ) br.
+1272/2008, a navedene su samo sljedeći razredi i kategorije:
+– Karc 1A ili 1B
+– tvar koja je prema Uredbi (EZ) br. 1272/2008 razvrstana kao karcinogena 1.A ili 1.B kategorije
+– Muta 1A ili 1B
+– tvar koja je prema Uredbi (EZ) br. 1272/2008 razvrstana kao mutagena 1.A ili 1.B kategorije
+– Repr 1A ili 1B
+– tvar koja je prema Uredbi (EZ) br. 1272/2008 razvrstana kao reproduktivno toksična 1.A ili 1.B kategorije.
+– koža
+– razvrstana kao tvar koja nadra žuje kožu (H315)
+– ili je takva napomena navedena u direktivama
+– alergen koža
+– tvar koja može izazvati alergijsku reakciju na koži (H317)
+– alergen udisanjem
+– tvar koja udisanjem može izazvati simptome alergije ili astme ili poteškoće s disanjem (H334)
+GVI KGVI
+CAS EZ 
+IME TVARI Direktiva Napomena
+broj broj
+ppm mg/m³ ppm mg/m³
+                 
+75-07-0 200-836-8 Acetaldehid 20 37 50 92
+108-24-7 203564-8 Acetanhidrid 0,5 2,5 2 10
+50-78-2 200-064-1 o-Acetil-salicilna kiselina 5
+67-64-1 200-662-2 Aceton 500 1210 2000/39/EZ
+Acetonitril; 
+75-05-8 200-835-2 40 70 2006/15/EZ koža
+cijanometan
+koža, alergen koža,
+79-06-1 201-173-7 Akrilamid 0,3 2017/2398 Karc 1B, 
+Muta 1B
+https://narodne-novine.nn.hr/clanci/sluzbeni/2018_10_91_1774.html 14/42