# Schritt 2 - Extraktion

> **Zielgruppe & Rolle**
>
> **Rolle**: Technik / Entwickler & Support | **Schritt**: 2 von 5 der Verarbeitungspipeline


# Extraktion

Nach Schritt 1 liegt jeder Anhang als geprüftes DMS-Dokument vor und trade hat eine Eingangsrechnung dazu angelegt. In diesem Schritt werden die Belegdaten in ein gemeinsames Zielformat (`Extraction`) überführt.

Zuerst wird geprüft, ob eine strukturierte E-Rechnung vorliegt. Wenn das nicht klappt, greift der Weg über den Text des Dokuments und ein KI-Modell.

> **Ziel des Schritts**
>
> Eine möglichst stabile Datenbasis für Belegprüfung und Bestellabgleich erzeugen.


## Text aus dem DMS

Die Textextraktion gehört dem DMS. Sie läuft nur für Versionen, die ClamAV als sauber gemeldet hat:

- **E-Rechnungen**: XRechnung (CII/UBL) und PDFs mit eingebettetem ZUGFeRD/Factur-X-XML werden erkannt und mit der kosit-Bibliothek gelesen; das DMS speichert eine lesbare Markdown-Fassung als Text.
- **PDFs**: Seiten mit verwertbarer Textebene werden direkt übernommen; Seiten ohne verwertbaren Text werden gerendert und über das Modul `ai` (Rolle `ocr`) als Markdown erkannt. Scheitert die KI-OCR, bleibt die Textebene, wenn es eine gibt.
- **Bilder** werden über die KI-OCR erkannt, **Office- und andere Formate** über Apache Tika.

Ergebnis ist der Extraktionsstatus des Dokuments (`DONE`, `PARTIAL`, `SKIPPED`, `FAILED`) und sein Text je Seite.

## Start und Typentscheidung in trade

- trade lädt den Text des Dokuments als Markdown aus dem DMS (nur bei `DONE` oder `PARTIAL`) und speichert ihn an der Rechnung (Status `OCR_DONE`).
- Ist das Dokument eine E-Rechnung (laut DMS oder als XML-Datei), lädt trade die Datei und liest sie mit der kosit-Bibliothek.
- Gelingt das nicht und gibt es Text, fällt trade auf den Weg über den Text zurück; ohne Text wird die Rechnung `FAILED`.

Damit werden strukturierte Quellen bevorzugt und klassische PDF/Scan-Fälle trotzdem verarbeitet.

> **E-Rechnung (XML)**
>
> - Die Daten werden mit der kosit-Bibliothek (`kosit/pkg/extraction`) in das Common-Format (CDM) gelesen und daraus in die `Extraction` übernommen – ohne KI.
> - Quelle (`sourceKind`): `XRECHNUNG_CII`, `XRECHNUNG_UBL` oder `ZUGFERD`.
> - Der Belegtyp kommt aus BT-3; trade normalisiert ihn auf `380`, `381` oder `384` und behält den Originalcode für die Wahl der Belegart.
> - Den offiziellen KoSIT-Validator ruft die Eingangsrechnungs-Pipeline nicht auf.


> **Feldzuordnung**
>
> Für eine Übersicht, welche E-Rechnungsfelder in die Eingangsrechnung übernommen werden, siehe [Feldzuordnung E-Rechnung](/knowledge/docs/products/invoice/technical/field-mapping.md).


> **PDF/Scan (KI-gestützt)**
>
> - Eine Klassifizierung mit einem günstigen Modell (Rolle `weak`) bestimmt den UN/EDIFACT-1001-Code aus dem Text (`380`, `381`, `384`, `270`, `999`). Details siehe [Dokumentenklassifizierung](/knowledge/docs/products/invoice/user-docs/classification.md).
> - `999` (keine Rechnung): Die Rechnung wird `REJECTED` (Ereignis `trade.inboundinvoice.rejected`, Grund `not_an_invoice`).
> - `270` (Lieferschein): Das Dokument wird an die Lieferscheinverarbeitung von trade übergeben.
> - Sonst extrahiert ein Modell der Rolle `medium` Kopf- und Positionsdaten über ein strukturiertes Schema; der Empfänger aus den Einstellungen geht als Kontext mit. Schlägt die Klassifizierung fehl, wird der Beleg als Rechnung extrahiert.
> - Quelle (`sourceKind`): `PDF_OCR`. Die KI liefert je Kopffeld eine Sicherheit; unsichere Felder werden in Schritt 4 als Hinweis markiert.


## Ergebnis der Extraktion

Artefakte in S3 gibt es nicht mehr. Alles liegt in Postgres an der Eingangsrechnung (Tabelle `sales_transactions`), die Dateien bleiben im DMS:

> **Immer gespeichert**
>
> Die `Extraction` (in `type_data.extraction`) enthält, was gelesen wurde: Kopf, Lieferant, Empfänger, Positionen, Beträge, Steueraufschlüsselung, Zahlungsbedingungen und Belegtyp. Sie wird nach dem Lesen nicht mehr geändert; Korrekturen und Workflow-Änderungen stehen in den Spalten der Rechnung darüber.


| Daten | Ort | Zweck |
| --- | --- | --- |
| Originaldatei | DMS-Dokument (`dmsDocumentId`) | Anzeige, erneute Verarbeitung |
| Volltext | DMS (Seitentext), Kopie in `fulltext` der Rechnung | Grundlage der KI-Extraktion, Suche |
| Extraktion | `type_data.extraction` | Was gelesen wurde, unverändert |
| Kopf und Positionen | Spalten der Rechnung | Arbeitsstand für Prüfung, Abgleich und Freigabe |

Nach der Extraktion bestimmt trade die Belegart (`INBOUND_INVOICE` oder die Eingangs-Belegart mit dem E-Rechnungscode des Dokuments) und setzt den Status `EXTRACTED` (Ereignis `trade.inboundinvoice.extracted`). Der erste Übergang nach `EXTRACTED` wird einmal als Verbrauch (`trade.inbound.document`) für die Abrechnung erfasst.

---

> **Nächster technischer Schritt**
>
> Nach der Extraktion der Rohdaten folgt die Währungsumrechnung und Stammdaten-Anreicherung:
> [**Schritt 3: Währung und Enrichment**](/knowledge/docs/products/invoice/technical/step-3-currency-and-enrichment.md) | Siehe auch: [**Feldzuordnung E-Rechnung**](/knowledge/docs/products/invoice/technical/field-mapping.md)
