Validation using the standard XSL - how to do

[landrix]

Ich möchte hier nur Ideen und Ansätze sammeln.

Wie wäre der Ansatz in .NET? Wie fängt man an? Hat jemand Erfahrung damit und könnte ein paar Tipps geben?
Ich arbeite an der Portierung dieser Lib nach Delphi und nutze derzeit eine Java-Umgebung zur Validierung und Visualisierung von ZUGFeRD-Dateien.

https://github.com/LandrixSoftware/ZUGFeRD-for-Delphi

Wenn man z.B. die Validierung in .NET umsetzt, könnte ich das sicher auch einfach portieren.

[stephanstapel]

Ich habe mir das schonmal angesehen. Die onboard XSLT-Funktionen von .net core reichen leider nicht, da Funktionen wie document-uri() genutzt werden, die dort nicht verfügbar sind (die Funktion gibt es in xslt 2.0).

Eine gute weitere Alternative ist Saxon mit Saxon HE (HE = Home Edition), aber dies funktioniert nicht mit .net core. Es gibt Wrapper, um neue Versionen von saxon über ikvm zu wrappen, aber das erscheint mir nicht besonders robust.

Ich habe es dann noch mit mvp.xml probiert:

string xmlInputPath = @"factur-x.xml";
string xslPath = @"...\XRechnung-CII-validation.xsl";
string xmlOutputPath = "output.html";

try
{
    MvpXslTransform xslt = new MvpXslTransform();
    xslt.Load(xslPath);

    using (XmlReader xmlReader = XmlReader.Create(xmlInputPath))
    using (XmlWriter xmlWriter = XmlWriter.Create(xmlOutputPath, new XmlWriterSettings { Indent = true }))
    {
        xslt.Transform(new XmlInput(xmlReader), new XsltArgumentList(), new XmlOutput(xmlWriter));
    }

    Console.WriteLine("Transformation abgeschlossen.");
    Console.WriteLine($"Ausgabe wurde in: {xmlOutputPath} gespeichert.");
}
catch (Exception ex)
{
    Console.WriteLine($"Ein Fehler ist aufgetreten: {ex.Message}");
}

aber auch hier wird gemeldet, dass document-uri() nicht bekannt ist. Also ebenfalls keine Unterstützung für xslt 2.0.
Soweit meine bisherigen Versuche.

[landrix]

So etwas in der Art wahrscheinlich, ich kopiere es nur als Notiz hier rein

https://stackoverflow.com/questions/56233421/xslt3-options-for-net-core-in-2019

[stephanstapel]

Ich habe etwas rumgespielt mit:
https://www.nuget.org/packages/SaxonHE12NetXslt

das funktioniert dann ganz gut:
saxonhe12netxslt transform.xsl -s:input.xml -o:output.xml

ist aber ein Kommandozeilen-Tool, das installiert werden muss.

[vissers-dev]

Ich hatte das auch mal mit Saxon 10 fuer Framework probiert. Das war die letzte Version die noch ohne Wrapper offiziell von Saxon angeboten wurde. Derzeit benutze ich Saxon 10 fuer die Visualisierung der Xrechnungen.

Ich finde die Lösung mit Wrapper auch nicht sehr robust. Und leider ist SaxonCS unbezahlbar. Ich habe große bedenken,.dass irgendwann auch die Java Lösung von Saxon nicht mehr Open Source ist, zumal die irgendwie eine Monopolstellung von XSLT haben (gefühlt).

[stephanstapel]

hast Du Code, den Du hier teilen kannst? Unabhängig von der genutzten Sprache?

[vissers-dev]

Ja, habe es aber abgespeckt und ist auch nicht schoen, aber immerhin

WindowsFormsApp4.zip

[stephanstapel]

Danke! Das ist cool. Interessante Gedanken in der Anwendung auf jeden Fall! Leider klappt beim ersten Ausprobieren das Herunterladen der KOSIT-Dateien nicht (ist ein ganz normaler httpclient-get-Aufruf). Hattest Du schonmal das gleiche Problem?

[vissers-dev]

Mhhh, bei mir ging das an sich ohne Probleme. Ich lade das runter:

https://github.com/itplr-kosit/xrechnung-visualization/releases/download/v2024-06-20/xrechnung-3.0.2-xrechnung-visualization-2024-06-20.zip

[jochenkirstaetter]

@vissers-dev

Sehr interessanter Ansatz mit dem ad hoc Verzeichnisbaum.
Ich muss mir noch Gedanken für mein Deployment machen, aber das scheint eine elegante Lösung zu sein. Initial hatte ich mehr an die Einbettung als Ressourcen ins Assembly gedacht. Nicht sicher, wie sich das mit den Dateiverweisen in den XSL verhält.

Auch das Executables Dictionary macht Laune. Klasse.

[jochenkirstaetter]

Hallo zusammen,

Ich habe eine funktionierende Implementierung auf Basis des Saxon-HE v10.9.0 NuGet Package für .NET Framework.
Der Ansatz basiert meines Erachtens analog wie es im Ultramarin Viewer von Alexander Spieß umgesetzt wurde. Ich verwende die Quelldateien (Xsl, Css etc) aus den xrechnung-visualization Sourcen von KOSIT. Ergänzend habe ich mir noch den Quellcode vom Quba Viewer angesehen, da dieser scheinbar derzeit die aktuellste Implementierung basierend auf SaxonJS drin hat. Auch mit den Fällen für CII, CIO, UBL und UBL CreditNote sowie den Checks auf Bestellung statt Rechnung und Übersetzung auf französisch.

Eins vorweg, das ist noch ziemlich ungeschliffen, aber funktioniert.
Inklusive der Integration in eine 32-Bit Desktopanwendung, welche die HTML-Ausgabe mittels des Edge WebView 2 Control anzeigt

Anfangs hatte ich gehofft, dass der ZUGFeRD-Renderer funktionieren würde.
Dann habe ich mit den vorhandenen Bordmitteln meiner Anwendung das Konzept im MS XML 6.0 Parser geschrieben, bis mir ganz am Ende aufgefallen ist, dass ich XPath 2.0 brauche.

Das neuere SaxonCS für .NET 6 habe ich mir noch nicht angetan, aber ich nehme an, dass meine Implementierung zügig migriert werden kann (jugendlicher Leichtsinn).

Bis denne, JoKi

[jochenkirstaetter]

Ahh, sorry, beim erneuten Lesen ist mir aufgefallen, dass es um Validation ging, nicht um Visualisierung.
Obwohl es im Verlauf zu einer Vermischung gekommen zu sein scheint.

[landrix]

macht doch nichts, ob Validierung oder Visualisierung. Würdest du deine Lösung mit uns teilen? Egal wie sie aussieht.

[jr-hoh]

Wir setzen aktuell eine Lösung mit SaxonCS und SchXslt für .NET 8 um. SaxonCS ist kostenpflichtig. Dieses Repo hat uns als Beispiel bei der Umsetzung sehr geholfen.

[landrix]

Und SaxonHE würde nicht reichen?

[stephanstapel]

War bei SaxonHE nicht bei Version 10 Schluss mit .net? In deren Repository finde ich bei der Version 12 ausschließlich Java: https://github.com/Saxonica/Saxon-HE/tree/main/12

[landrix]

stimmt, steckt nur in der 10er

https://github.com/Saxonica/Saxon-HE/tree/main/10/Dotnet

reicht vielleicht auch schon, das weiß ich aber nicht. Kosit nutzt in Java Saxon-HE-11.4

[stephanstapel]

reicht vielleicht auch schon, das weiß ich aber nicht. Kosit nutzt in Java Saxon-HE-11.4

reicht bestimmt, ist nur die Frage, wie lange es (noch) funktioniert

[jochenkirstaetter]

Hm, läuft unter MPL-2.0 Lizenz...
😸

[HenriSHS]

Ich hab in diesem Projekt eine XSD/Schematron Validierung gesehen. Vielleicht könnte das interessant sein.

https://github.com/Securibox/facturx/blob/main/Securibox.FacturX/FacturxSchematronValidator.cs
https://github.com/Securibox/facturx/blob/main/Securibox.FacturX/FacturxXsdValidator.cs

[DP-Wiko]

Ich habe gerade Saxon-HE 10.9.0 (NuGet Package Community Edition) getestet.
Unser Projekt ist mit .Net Framework 4.8 programmiert.
Ich habe die XSLT Dateien aus dem KoSIT Projekt genommen und und habe folgende Funktionen implementiert:

1. Validieren anhand von EN16931-CII-validation.xslt: ich habe eine XML Datei mit Validierungsfehler bekommen
   <?xml version="1.0" encoding="UTF-8" standalone="yes"?> <svrl:schematron-output xmlns:ccts="urn:un:unece:uncefact:documentation:standard:CoreComponentsTechnicalSpecification:2" xmlns:iso="http://purl.oclc.org/dsdl/schematron" xmlns:qdt="urn:un:unece:uncefact:data:standard:QualifiedDataType:100" xmlns:ram="urn:un:unece:uncefact:data:standard:ReusableAggregateBusinessInformationEntity:100" xmlns:rsm="urn:un:unece:uncefact:data:standard:CrossIndustryInvoice:100" xmlns:saxon="http://saxon.sf.net/" xmlns:schold="http://www.ascc.net/xml/schematron" xmlns:svrl="http://purl.oclc.org/dsdl/svrl" xmlns:udt="urn:un:unece:uncefact:data:standard:UnqualifiedDataType:100" xmlns:xhtml="http://www.w3.org/1999/xhtml" xmlns:xs="http://www.w3.org/2001/XMLSchema" xmlns:xsd="http://www.w3.org/2001/XMLSchema" title="EN16931 model bound to CII" schemaVersion=""><!--       --> <svrl:ns-prefix-in-attribute-values uri="urn:un:unece:uncefact:data:standard:CrossIndustryInvoice:100" prefix="rsm"/> <svrl:ns-prefix-in-attribute-values uri="urn:un:unece:uncefact:documentation:standard:CoreComponentsTechnicalSpecification:2" prefix="ccts"/> <svrl:ns-prefix-in-attribute-values uri="urn:un:unece:uncefact:data:standard:UnqualifiedDataType:100" prefix="udt"/> <svrl:ns-prefix-in-attribute-values uri="urn:un:unece:uncefact:data:standard:QualifiedDataType:100" prefix="qdt"/> <svrl:ns-prefix-in-attribute-values uri="urn:un:unece:uncefact:data:standard:ReusableAggregateBusinessInformationEntity:100" prefix="ram"/> <svrl:ns-prefix-in-attribute-values uri="http://www.w3.org/2001/XMLSchema" prefix="xs"/> <svrl:active-pattern document="file:///C:/Users/dp/source/repos/Workplace/SourceCode/WebApplication/App_Data/EInvoice" id="EN16931-CII-Model" name="EN16931-CII-Model"/> <svrl:failed-assert test="not(/rsm:CrossIndustryInvoice/rsm:SupplyChainTradeTransaction/ram:ApplicableHeaderTradeAgreement/ram:SellerTradeParty/ram:SpecifiedTaxRegistration/ram:ID[@schemeID = 'VA']) and not (/rsm:CrossIndustryInvoice/rsm:SupplyChainTradeTransaction/ram:ApplicableHeaderTradeAgreement/ram:SellerTaxRepresentativeTradeParty/ram:SpecifiedTaxRegistration/ram:ID[@schemeID = 'VA']) and not (/ram:BuyerTradeParty/ram:SpecifiedTaxRegistration/ram:ID[@schemeID = 'VA'])" id="BR-O-02" flag="fatal" location="/rsm:CrossIndustryInvoice/rsm:SupplyChainTradeTransaction[1]/ram:IncludedSupplyChainTradeLineItem[1]/ram:SpecifiedLineTradeSettlement[1]/ram:ApplicableTradeTax[1]"> <svrl:text>[BR-O-02]-An Invoice that contains an Invoice line (BG-25) where the Invoiced item VAT category code (BT-151) is "Not subject to VAT" shall not contain the Seller VAT identifier (BT-31), the Seller tax representative VAT identifier (BT-63) or the Buyer VAT identifier (BT-48).</svrl:text> </svrl:failed-assert> <svrl:failed-assert test="not(ram:RateApplicablePercent)" id="BR-O-05" flag="fatal" location="/rsm:CrossIndustryInvoice/rsm:SupplyChainTradeTransaction[1]/ram:IncludedSupplyChainTradeLineItem[1]/ram:SpecifiedLineTradeSettlement[1]/ram:ApplicableTradeTax[1]"> <svrl:text>[BR-O-05]-An Invoice line (BG-25) where the VAT category code (BT-151) is "Not subject to VAT" shall not contain an Invoiced item VAT rate (BT-152).</svrl:text> </svrl:failed-assert>
2. Konvertieren von Factur-X/X-Rechnung XML in eine HTML Datei (wie im X-Rechnung Viewer von KoSIT) - dafür braucht man zwei Transformationen.
   Also grundsätzlich funktioniert.

[stephanstapel]

@DP-Wiko : Geht es Dir mehr um den Code oder um die Fehlermeldung?

[DP-Wiko]

@stephanstapel Die Fehlermeldungen sind in der xslt Datei definiert, es geht eher um einem Vorschlag, diese Validierung ins Projekt zu zu übernehmen.
Einziges Problem ist, dass die aktuelle Version von Saxon nur unter dem .Net Framework läuft, Im ZUGFerd-csharp Projekt ist als Target .Net Standart definiert.

Wenn das notwendig wird, kann ich gerne meine Lösung posten.

[landrix]

na um die Lösung geht es doch hier :) Also gern mit Code.

[DP-Wiko]

Das ist die Funktion, die Validierung macht. Als Parameter bekommt sie Verzeichnis mit den XSLT Dateien und einen einen XMLStream.

       private string validateFacturX(Stream XMLStream, string basePath)
       {
           var validationErrors = new List<EN16931_Error>();
		   
           string xsltValidation = "EN16931-CII-validation.xslt";

           string step1;

           var xmlSource = new MemoryStream();
           XMLStream.Position = 0;
           XMLStream.CopyTo(xmlSource);
           xmlSource.Position = 0;

           var errorList = new List<XmlProcessingError>();

           var processor = new Processor(true);

           try
           {
               var compiler = processor.NewXsltCompiler();
               compiler.SetErrorList(errorList);

               var transformer = compiler.Compile(new Uri(System.IO.Path.Combine(basePath, xsltValidation))).Load();
               transformer.SetInputStream(xmlSource, new Uri(basePath));
               transformer.SetParameter(new QName("debug"), new XdmAtomicValue(true));

               var writer = new StringWriter();
               var serializer = processor.NewSerializer(writer);
               serializer.SetOutputProperty(Serializer.INDENT, "yes");
               // Transform the source XML and serialize the result document
               transformer.SchemaValidationMode = SchemaValidationMode.None;
               transformer.Run(serializer);
               StringBuilder resultText = new StringBuilder(writer.ToString());
               step1 = resultText.ToString();
               writer.Close();

               if (!string.IsNullOrEmpty(step1))
               {
                    //load XDocument
                   var errors = XDocument.Parse(step1);
                   var elems = errors.Descendants().Where(e => e.Name.LocalName == "failed-assert");
                   if (elems != null && elems.Any())
                   {
                       validationErrors.AddRange(elems.Select(e => new EN16931_Error {
                           id = e.Attribute(nameof(EN16931_Error.id))?.Value,
                           flag = e.Attribute("flag")?.Value,
                           location = e.Attribute("location")?.Value,
                           test = e.Attribute("test")?.Value,
                           text = e.Elements().FirstOrDefault(e => e.Name.LocalName == "text")?.Value
                       } ));                        
                   }
               }
           }
           catch (Exception ex)
           {
               Debug.WriteLine(ex.Message);
               throw new Exception(ex.Message);
           }
		   
           return validationErrors;
       }

Hier werden einfach die Validierungsfehler gespeichert.

 public class EN16931_Error
    {
        public string id { get; set; }
        public string flag { get; set; }
        public string text { get; set; }
        public string location { get; set; }
        public string test { get; set; }

    }

[Khaos66]

Hi. Wir stehen vor dem gleichen Problem und wollen es noch nicht ganz einsehen eine redistribution SaxonCS Lizenz zu erwerben ;D
Daher habe ich jetzt einfach mal die dotnet/runtime gefragt, wie es ausschaut:
dotnet/runtime#115510
Mal sehn was da die Tage noch kommt...