XMP-Dateien und darktable

[Waldfex]

Beim Lesen verschiedener Beiträge, welche inhaltlich das Thema Bildbearbeitung, hier insbesondere darktable und XMP-Dateien berühren, stolpert man wiederholt über verschiedene unklare Verständnisfragen. Nachfolgend ein Versuch, der das Thema etwas hinter leuchten soll:

Bei XMP (Extensible Metadata Platform) handelt es sich um einen speziellen XML-Dialekt (XML - Extensible Markup Language), im weiteren Sinmne vergleichbar mit SVG (Scalable Vector Graphics) dem Standard-Dateiformat von Inkscape. XMP wurde ursprünglich von Adobe Systems eingeführt, um standardisierte und benutzerdefinierte Metadaten für digitale Dokumente und Datensätze zu erstellen, zu verarbeiten und auszutauschen. Die Spezifikation von XMP basiert auf offenen Standards und ist heute im ISO-Standard ISO 16684 beschrieben.

Mit XMP werden die Metadaten in die Dateien verschiedener Applikationen nach einem einheitlichen Schema so integriert, dass die Daten auch von anderen Programmen gelesen werden können. Die im XMP-Format geschriebenen Metadaten können dabei sowohl in die Datei selbst eingebettet werden (embedded), wie auch in einer externen Begleitdatei (Sidecare-File) gespeichert werden.

Das Format wird von allen Adobe-Produkten, von verschiedenen Open-Source-Programmen sowie von Software-Produkten kommerzieller Anbieter unterstützt. Eine Übersicht der bekanntesten Programme findet sich hier: https://en.wikipedia.org/wiki/Extensibl ... a_Platform.

Die für die Entwicklung von RAW-Bildern eingesetzten RAW-Konverter, wie z.B. darktable oder Lightroom schreiben ihre XMP-Informationen in der Regel in eine Begleitdatei mit der Dateiendung XMP. Diese enthalten verschiedene Eigenschaften der Bilddatei, wie z. B. Beschreibung, Titel, Schlüsselwörter, Autor, Urheberrecht, Helligkeit, Belichtung, Kontrast, Ausschnittwinkel, Schatten, Sättigung, Schärfe, Farbton, Temperatur etc.

Da es sich bei einer XMP-Datei um eine XML-Datei handelt, werden werden die Informationen in einem Standard-Klartextformat gespeichert. Diese können mit einem beliebigen Texteditor geöffnet und ggf. auch bearbeitet werden. Nachfolgend eine Beispiel einer XMP-Datei von darktable:

Code: Alles auswählen

<?xml version="1.0" encoding="UTF-8"?>
<x:xmpmeta xmlns:x="adobe:ns:meta/" x:xmptk="XMP Core 4.4.0-Exiv2">
 <rdf:RDF xmlns:rdf="http://www.w3.org/1999/02/22-rdf-syntax-ns#">
  <rdf:Description rdf:about=""
    xmlns:exif="http://ns.adobe.com/exif/1.0/"
    xmlns:xmp="http://ns.adobe.com/xap/1.0/"
    xmlns:xmpMM="http://ns.adobe.com/xap/1.0/mm/"
    xmlns:darktable="http://darktable.sf.net/"
   exif:DateTimeOriginal="2021:01:02 13:11:20"
   exif:GPSVersionID="2.2.0.0"
   exif:GPSLongitude="12,36.461300E"
   exif:GPSLatitude="52,3.262100N"
   exif:GPSAltitudeRef="0"
   exif:GPSAltitude="1030/10"
   xmp:Rating="0"
   xmpMM:DerivedFrom="DSC_4778.NEF"
   darktable:import_timestamp="1610397269"
   darktable:change_timestamp="-1"
   darktable:export_timestamp="-1"
   darktable:print_timestamp="-1"
   darktable:xmp_version="4"
   darktable:raw_params="0"
   darktable:auto_presets_applied="1"
   darktable:history_end="10"
   darktable:iop_order_version="1"
   darktable:history_auto_hash="a9830b4b4edeb55aa896a98870e91691"
   darktable:history_current_hash="a9830b4b4edeb55aa896a98870e91691">
   <darktable:masks_history>
    <rdf:Seq/>
   </darktable:masks_history>
   <darktable:history>
    <rdf:Seq>
     <rdf:li
      darktable:num="0"
      darktable:operation="rawprepare"
      darktable:enabled="1"
      darktable:modversion="1"
      darktable:params="000000000000000000000000000000005802580258025802a03c9ee3"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="1"
      darktable:operation="demosaic"
      darktable:enabled="1"
      darktable:modversion="3"
      darktable:params="0000000000000000000000000000000000000000"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="2"
      darktable:operation="colorin"
      darktable:enabled="1"
      darktable:modversion="6"
      darktable:params="gz30eJzjZgCCMAaGDw/9OaTCGEbBCAcsA+2AUTCgQAGYAAASvQMi"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="3"
      darktable:operation="colorout"
      darktable:enabled="1"
      darktable:modversion="5"
      darktable:params="gz16eJxjZACCMIZRMMzBgquzOaSQ4jkQSl9448MBogER3AVB"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="4"
      darktable:operation="gamma"
      darktable:enabled="1"
      darktable:modversion="1"
      darktable:params="0000000000000000"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="5"
      darktable:operation="temperature"
      darktable:enabled="1"
      darktable:modversion="3"
      darktable:params="7c630b400000803fe9549c3f0000807f"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="6"
      darktable:operation="highlights"
      darktable:enabled="1"
      darktable:modversion="2"
      darktable:params="000000000000803f00000000000000000000803f"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz13eJxjYGBgYARiCQYYOOHEgAYY0QVwggZ7CB6pfNoAAErAGQU="/>
     <rdf:li
      darktable:num="7"
      darktable:operation="channelmixerrgb"
      darktable:enabled="1"
      darktable:modversion="2"
      darktable:params="gz04eJxjYGiwZ8AAxIqRD9iBmAmIWYCYEYiXrD9pV151yo6hKscVZBdIDACGlwiK"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz13eJxjYGBgYAZiCQYYOOHEgAYY0QVwggZ7CB6pfNoAAE4AGQc="/>
     <rdf:li
      darktable:num="8"
      darktable:operation="flip"
      darktable:enabled="1"
      darktable:modversion="2"
      darktable:params="ffffffff"
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz14eJxjYIAACQYYOOHEgAYY0QVwggZ7CB6pfNoAAEkgGQQ="/>
     <rdf:li
      darktable:num="9"
      darktable:operation="basecurve"
      darktable:enabled="1"
      darktable:modversion="6"
      darktable:params="gz07eJxjYICAExVTbAzZrtnonhGyW9q81+47y0q7JiZr+/UVr+xqaqLs16va2NvyldtbzEu3PxpWY8/A0ADFo2AwAw4kNhOGLCQOGYEsAFwXFi8="
      darktable:multi_name=""
      darktable:multi_priority="0"
      darktable:blendop_version="10"
      darktable:blendop_params="gz13eJxjYGBgYAZiCQYYOOHEgAYY0QVwggZ7CB6pfNoAAE4AGQc="/>
    </rdf:Seq>
   </darktable:history>
  </rdf:Description>
 </rdf:RDF>
</x:xmpmeta>

Eingebettete XMP-Daten und binär-codierte Informationen in XMP-Dateien können mit dem kostenlosen XMP-Betrachter gelesen oder wer es komplexer möchte, mit den von Adobe unter der BSD-Lizenz kostenfrei zur Verfügung gestellten XMP Toolkit SDK gelesen und bearbeitet werden.

Darktable ist ein nicht-destruktiver Bild-Editor, der Bilder nur lesend öffnet. Alle in darktable erzeugten Daten (Metadaten, Tags und Bildverarbeitungsschritte) werden in separaten .XMP-Begleitdateien sowie redundant in der darktable-Datenbank gespeichert. Die XMP-Dateien werden neben den originalen RAW-Dateien gespeichert und ermöglichen darktable, Informationen über die Bilder sowie die gesamte Bearbeitungshistorie zu speichern, ohne die Originaldateien zu verändern. Wird ein Bild zum ersten Mal in darktable importiert, so wird automatisch eine XMP-Datei erzeugt. Die XMP-Erzeugung kann unter darktable-Voreinstellungen > Speichern > XMP-Begleitdateien ausgeschaltet werden, was für den Normalgebrauch nicht empfohlen wird.
Die von darktable generierten XMP-Dateien können von anderen Programmen, wie z.B. Lightroom ganz oder teilweise gelesen und weiter verarbeitet werden.

Alle in darktable vorgenommenen Änderungen an den Bildern werden "on the fly" in die XMP-Datei und die Datenbank geschrieben. Dies führt oftmals bei Einsteigern in darktable zu Irritationen, da man einen "Speichern" oder "Speichern unter" Dialog in darktable vergeblich sucht.
(Quelle und weiterführende Informationen siehe darktable manual)

Vielleicht hilft der kurze Exkurs den einen oder anderen beim Verständnis vom XMP-Dateien in der Bildbearbeitung weiter. Gern können wir das Thema hier auch weiter diskutierwn und vertiefen.

Gruß Gert

[Gimplyworxs]

Gut erklärt,
danke dafür

[Stift]

Bedanke mich auch herzlich für den Beitrag!

[BertholdSW]

Gert, Herzlichen Dank!
mfg Berthold.

[Enzo Lambrusco]

Auch von meiner Seite vielen Dank für die Recherche und ausführliche Information

[MartinB.]

Beim Lesen verschiedener Beiträge, welche inhaltlich das Thema Bildbearbeitung, hier insbesondere darktable und XMP-Dateien berühren, stolpert man wiederholt über verschiedene unklare Verständnisfragen. ...

Gruß Gert

Super erklärt! Vielen Dank Gert! Hab's zwei Mal gelesen und hoffe es richtig verstanden zu haben. Es ist ja für Unerfahrene keine ganz leichte Kost.
Als völliger Neuling bei diesem Thema würde ich die Kernaussagen gerne einmal auf eine hoffentlich einfache Sprache runterbrechen. Erstens, weil mir im eigenen Verständnis selbst gut tut. Und zweitens, mit der Bitte an die Profis, mich zu korrigieren, falls ich etwas falsch verstanden und somit auch falsch wiedergegeben habe. Bitte auch gerne, wo inhaltliche Lücken bestehen, ergänzen.

• xmp ist eine spezifische textbasierte Ausformung der Programmier- bzw. Auszeichnungssprache xml und gibt speziell für Fotos Auskunft über die ursprüngliche Ablichtung, aber auch über daran vorgenommene nachträgliche Veränderungen. Im wesentlichen werden Titel, Schlüsselwörter, Autor, Urheberrecht, Helligkeit, Belichtung, Kontrast, Ausschnittwinkel, Schatten, Sättigung, Schärfe, Farbton, Temperatur etc. beschrieben. All das geschieht ohne die ursprüngliche Bilddatei wirklich zu verändern und ist verlustfrei.

• Während z. B. bei dem Vektorgrafikprogramm Inkscape die xml-Daten mit jedem willentlichen Speichervorgang in der Originaldatei abgespeichert werden, erstellt Darktable eine separate xmp-Datei, die ohne willentliches abspeichern, ständig aktualisiert wird.

• Für manch einen ist es ungewohnt, dass man in Darktabel nicht selbst, willentlich abspeichert. Aber im linken Info-Frame des Programmes bleibt in der "Dunkelkammer-Ansicht" der Verlauf auch nach Programmschließung erhalten, sodass man stets Änderungen wieder zurücknehmen kann, auch ohne in die xmp-Datei einzugreifen.-

• Das besondere dieser Dateien ist, dass sie gekoppelt an die Original-Rohdatei wichtige Informationen an andere Emfänger und Programme weitergeben kann, die die entsprechenden anderen Programme lesen und interpretieren können, und dass man aber auch das Bildergebnis selbst ändern kann, in dem man direkt in den xmp-Texten Änderungen vornimmt.

• Alle Daten, die in der xmp-Datei abgespeichert werden, werden redundant, also zusätzlich in der Darktable-Datenbank gespeichert. Das bedeutet, dass vorgenommene Bildänderungen beim Löschen der xmp-Datei für einen selbst, gerade weil das eigene Darktable auf die Datenbank Zugriff hat, nicht verloren sind.

• Dennoch ist vor dem Löschen der xmp zu warnen, da die darin enthaltenen Informationen für die Weitergabe der bearbeiteten RAW-Datei an andere Personen und / oder andere Programme von elementarer Bedeutung sind. Nur so kann das Empfängerprogramm vorgenommene Änderungen lesen und berücksichtigen.

War das soweit alles richtig? Ich hoffe, diese Zusammenfassung ist für andere nicht langweilig. Ich persönlich glaube, dass die Betrachtung oder Formulierung aus einer weiteren Sichtweise, dem tieferen Verständnis gut tun kann. Umso mehr, als Waldfex' Erklärung für den blutigen Anfänger phasenweise eventuell etwas "wissenschaftlich" formuliert war.

Bleiben für mich noch zwei Frage offen:

• xmp-Dateien können mit einem beliebigen Texteditor geöffnet und ggf. auch bearbeitet werden. Trotzdem wurde von Waldfex ein kostenloser xmp-Betrachter verlinkt. Habe ich das richtig verstanden, dass man den nur benötigt, wenn die xmp-Daten nicht in eine seperaten Datei abgelegt werden? Dann würde der sogenannte xmp-Betrachter die in der entsprechenden Bilddatei eingebetteten xmp-Daten dort direkt abgreifen, wo wir eventuell keinen Zugriff finden würden? Und zusätzlich hilt der Betrachter dort wo anstelle des normalen textbasierten xmp all diese Daten binär, also in Nullen und Einsen dargestellt werden? Das würde meinem Verständnis nach bedeuten, dass diese speziellen xmp-Betrachter für manchen fortgeschrittenen Fotografen interessant sind, aber für uns, insbesondere bei Darktable-Nutzung keine Rolle spielen, richtig?

• Wie ich weiß, hat sich Waldfex verschiedentlich tiefer in seine xmp-Daten eingelesen. Ich selbst erkenne den Nutzen beim Datentransfer, finde es aber nicht leicht, sich selbst mit einem persönlichen Blick in den xmp-Daten logisch zurechtzufinden. Daher meine Frage: Wie weit reicht der Informationsschatz in xmp-Dateien. Sieht man da neben Fotograf, Fotoapparat und diesen Dingen, die Daten bzgl. Helligkeit, Belichtung, Kontrast, Ausschnittwinkel, Schatten, Sättigung, Schärfe, Farbton, Temperatur etc. im Anfangszustand vor der Bearbeitung UND im Zustand nach der Bearbeitung? Sieht man im Wesentlichen den ganzen Bearbeitungsverlauf? Oder wie kann man sich das grob vorstellen?

[MartinB.]

Also mir hat mein obiger Text geholfen.
Das war schon in der Schule so. Wenn der Spickzettel geschrieben war, hatte man bereits viel gelernt. Um Dinge selbst formulieren zu können, muss man beginnen, sie ein wenig zu verstehen.

Aber vielleicht habe ich mich in der Hoffnung getäuscht, es könne auch einem anderen Themenneuling helfen, wenn das nochmals in anderen Worten beleuchtet würde. Vielleicht ist es ja nur ein mühsam zu lesender langer Text geworden?!

[Gimplyworxs]

Das war schon in der Schule so. Wenn der Spickzettel geschrieben war, hatte man bereits viel gelernt

Das war bei mir auch so.

[Stift]

Aber vielleicht habe ich mich in der Hoffnung getäuscht, es könne auch einem anderen Themenneuling helfen, wenn das nochmals in anderen Worten beleuchtet würde. Vielleicht ist es ja nur ein mühsam zu lesender langer Text geworden?!

Finde deine Zusammenfassung recht gut gelungen, Martin!
Zu deinen beiden Fragen unten kann ich nur wenig sagen, weil das Thema für mich auch relativ neu ist. Ich lerne aus diesen Beiträgen auch immer neu hinzu.

Jetzt habe ich auch eine Frage an Waldfex und hoffe, dass wir ihm am Wochenende nicht zu stark auf die Pelle rücken...

Wie verwaltet Darktable die .xmp Duplikate, wenn man z.B. zig XMP-Duplikate von anderen Usern in einem Ordner, wo auch die RAW Datei liegt, speichern würde?
Natürlich wird man vor dem Überschreiben gleichnamiger Dateien gewarnt, das ist mir klar. Aber einige, von mir umbenannte Duplikate, sind nicht im Duplikat-Manager erschienen.

Bisher habe ich immer in der Dunkelkammer im Duplikat-Manager Duplikate erstellt. Das klappte auch mit mehreren Duplikaten problemlos.
Aber beim Umbenennen der XMP in einem Ordner klappte es nicht mehr. Die im Ordner umbenannten XMP-Dateien wurden mir in DT nicht angezeigt.

[Waldfex]

@MartinB, hier einmal der Versuch einer Antwort auf deine Fragen:

>>> xmp-Dateien können mit einem beliebigen Texteditor geöffnet und ggf. auch bearbeitet werden. Trotzdem wurde von Waldfex ein kostenloser xmp-Betrachter verlinkt. Habe ich das richtig verstanden, dass man den nur benötigt, wenn die xmp-Daten nicht in eine seperaten Datei abgelegt werden?

Das ist korrekt. Den Link habe ich nur als Info für die Leser gesetzt, die sich ggf. etwas intensiver mit dem Thema beschäftigen und vielleicht auch einmal die eine oder andere Bilddatei nach eingebetteten Daten untersuchen möchten.

>>> Dann würde der sogenannte xmp-Betrachter die in der entsprechenden Bilddatei eingebetteten xmp-Daten dort direkt abgreifen, wo wir eventuell keinen Zugriff finden würden?

Das ist ebenfalls korrekt.

>>> Und zusätzlich hilt der Betrachter dort wo anstelle des normalen textbasierten xmp all diese Daten binär, also in Nullen und Einsen dargestellt werden?

Binärdateien oder -daten bestehen aus mehr als Nullen und Einsen: https://de.wikipedia.org/wiki/Bin%C3%A4rdatei. Aber das ist eher ein Thema für ein Programmierer-Forum.

>>> Das würde meinem Verständnis nach bedeuten, dass diese speziellen xmp-Betrachter für manchen fortgeschrittenen Fotografen interessant sind, aber für uns, insbesondere bei Darktable-Nutzung keine Rolle spielen, richtig?

Richtig!

>>> Ich selbst erkenne den Nutzen beim Datentransfer, finde es aber nicht leicht, sich selbst mit einem persönlichen Blick in den xmp-Daten logisch zurechtzufinden.

Für einen normalen DT- Anwender ist es auch nicht erforderlich, sich mit dem Inhalt der XMP-Dateien auseinader zu setzen. Vergleichbar wird ein Inkscape-Anwender sich i.R. auch weniger direkt mit dem Inhalt von SVG-Dateien mit einem Editor auseinandersetzen bzw. diese bearbeiten.
Wichtig ist es aber bei der Arbeit mit DT zu wissen, wie DT XMP-Dateien verarbeitet. Da gibt es ein paar Kleinigkeiten zu beachten.

>>> Daher meine Frage: Wie weit reicht der Informationsschatz in xmp-Dateien. Sieht man da neben Fotograf, Fotoapparat und diesen Dingen, die Daten bzgl. Helligkeit, Belichtung, Kontrast, Ausschnittwinkel, Schatten, Sättigung, Schärfe, Farbton, Temperatur etc. im Anfangszustand vor der Bearbeitung UND im Zustand nach der Bearbeitung? Sieht man im Wesentlichen den ganzen Bearbeitungsverlauf? Oder wie kann man sich das grob vorstellen?

DT speichert in den XMP-Dateien nur eigene bearbeitungsbezogene und organisatorische Informationen. Aufnahmebezogene Informationen, die beim Fotografieren relevant sind, stehen in EXIF-Daten der RAW-Datei