Rauw V: archivering

Dure woorden, Digital Asset Management (DAM). Maar “foto’s beheren en omschrijven en klasseren zodat ze later gemakkelijk terug te vinden zijn zelfs al staan ze niet meer op uw hard disk” bekt niet meteen zo gemakkelijk.

Een korte zijsprong: Peter Krogh, waar sommigen behoorlijk lyrisch over zijn, is ongetwijfeld een sympathieke kerel en schrijft inderdaad goeie en interessante boeken. Maar hij heeft een wel heel erg nauwe band met Adobe. Dat doet me soms twijfelen aan de honderd procent objectiviteit van sommige van zijn keuzes. Al heeft Adobe (op dit ogenblik nog) geen DAM-product, ik denk niet dat ik de enige ben op wie zijn schrijven soms overkomt als “hoe gebruik ik het best Photoshop en Bridge en Adobe Camera Raw om DAM te doen”.

Ik ben het overigens ook niet eens met zijn bucketsysteem—meer daarover in een volgende entry.

Maar sta me toe eerst even met iets meer nuance terug te komen op DNG.

DNG is een versie van TIFF, door Adobe in september 2004 uitgebracht als voorstel van oplossing voor de miserie met raw-bestanden.

Die miserie is dat alle cameramakers zomaar wat aanmodderen met hun formaten, die niet of niet voldoende documenteren, de formaten alle vijf voet zomaar wijzigigen, de verwerkingssoftware niet open maken en/of vol bugs steken—vraag maar aan om het even wie een programma maakt dat raw-files moet kunnen inlezen wat voor soep het is.

Ik had DNG al langer in het snotje, maar zelfs toen het programma waarin ik tot nog toe mijn DAM doe een kleine maand na de aankondiging van DNG zei ook met DNG om te kunnen, zag ik er niet meteen het punt van.

Bovendien zijn er, zoals Steven zei, ook wel ersntige bedenkingen bij het hele concept-DNG—al geldt hier ook wel mutatis mutandis de boodschapper/boodschap-bedenking die ik bij Krogh maakte: zo geeft Barry Pearson een punt-voor-punt weerlegging van het artikel in kwestie, maar hij is dan weer een DNG-proponent, en zo blijven we bezig. 🙂

[Technisch: voor zover ik het begrepen heb is de crux van de zaak het volgende: het is op dit ogenblik praktisch niet mogelijk voor derden—bijvoorbeeld Bibble—om eigen raw-verwerking die niet dezelfde “formules” als ACR volgt in DNG op te slaan. Dus stel dat bijvoorbeeld Bibble, wat niet ondenkbaar is, een betere manier vindt dan Adobe Camera Raw om het raw-mozaiek om te zetten naar een beeld, waardoor meer detail of betere kleuren uit hetzelfde beeld gehaald kan worden, dan kunnen die decoderingsinstructies niet noodzakelijk in het DNG-bestand opgeslagen worden. Het is alsof DNG enkel de mogelijk zou bevatten om instructies als optellen en aftrekken op te slaan, maar dat derden ook rotaties zouden willen opslaan. Wat op dit ogenblik niet kan via de SDK. Wel via een command line tool, wat hoop geeft voor de toekomst.]

Hoedanook: sinds 2004 is DNG-ondersteuning er enorm op vooruit gegaan, wat niet verwonderlijk is aangezien de juggernaut Adobe erachter zit, maar toch is het niet allemaal rozengeur. Bibble doet niet mee, PixVue en Directory Opus’ Raw Viewer ook (nog) niet, Microsoft niet, Picasa niet, dus: waarom zou ik een NEF-bestand omzetten naar een DNG-bestand? Als NEF al lastig is, is DNG dan niet nóg lastiger?

Wel, ik denk dat ik sinds kort (vandaag) een argument heb gevonden om DNG te gebruiken. Ik ben op het moment IView Media Pro 3 zo grondig mogelijk aan het testen [mijn bemerkingen volgen later deze week].

In de veronderstelling dat ik vooral Adobe Camera Raw (ACR) zou gebruiken om raw-bestanden te bewerken, én in de veronderstelling dat ik IView zou gebruiken voor DAM, kan ik een vervelend probleem omzeilen dat me al een tijd tegenstak. Kijk, zo ziet een willekeurige directory er in Adobe Bridge uit:

Bridge

Drie raw-files uit de D70, waarbij die dingetjes rechtsonder het beeld misschien wel het belangrijkste zijn:

Bridge-klein

…icoontjes die aanduiden dat dit beeld in ACR aangepast is (en in het bovenstaande geval ook gecropt). De wijzigingen die in ACR doorgevoerd werden, werden in een afzonderlijke XMP-file gestoken, en op basis daarvan kan Bridge reconstrueren hoe het gewijzigde bestand er uit moet zien.

Dat kan IView niet, en het gevolg is dat het daar dit geeft:

Iview-dng0

Vooral in de twee eerste beelden is het duidelijk te zien dat er een enrm verschil is. IView kan de raw-files uit mijn D70 lezen, kan ook de andere metadata (rating met sterren, auteur, omschrijving, …) inlezen, maar kan uiteraard niet de kleur– en andere wijzigingen die ik doorgevoerd heb in ACR reconstrueren. En dus krijg ik in IView een vertekend beeld van mijn foto’s.

Nu blijkt dat als ik mijn D70–raw-bestanden omzet naar DNG nadat ik er in ACR wijzigingen op doorgevoerd heb, dat IView die files wél goed kan zien:

Iview-dng

Ik weet niet precies waarom dat is, en ik vermoed dat het iets te maken heeft met een degelijke jpeg-thumbnail die erin gesmeten wordt of zo, maar in ieder geval: dit is pretty compelling.

Als ik mijn normale workflow doorloop, IPTC-gegevens invullen, correcties met RawShooter voor simpele dingen (die verlies ik dan wel) en correcties met ACR voor de heavy duty-dinges, en dan helemaal op het einde van de rit de bestanden naar DNG omzet, dan hoef ik enkel de ingrijpend in het beeld zelf gewijzigde files (dus waarbij ik in Photoshop inhoudelijke beeldmanipulaties gedaan heb) afzonderlijk bij te houden. En dan kan ik in alle andere gevallen (waar het enkel om kleurcorrecties, cropping, en om toevoeging van IPTC-data gaat) NEF+XMP omzetten naar één DNG, en ook in mijn DAM-programma zien wat ik wil zien.

Interessant.

Het omzetten naar DNG zelf gebeurt met het gratis tooltje dat bij Adobe te downloaden is, en dan is het enkel nog te kiezen op welke manier ik ga omzetten:

Dngconv

Er zijn drie mogelijke opties:

  • compression of niet: ik zie geen enkele reden om géén compressie te gebruiken. Dit aanvinken maakt van het eindresultaat een kleiner bestand, zonder enig kwaliteitsverlies (vergelijk het met een zip-file maken van het beeld)
     
  • raw-beeld opslaan of lineair beeld: “raw” is het onbewerkte mozaiek van rode, groene en blauwe kleurreceptoren op de sensor van de camera met hoeveel fotonen ze elk opgevangen hebben (zie ook hier voor een schema van het moziek waarvan sprake). “Lineair” wil zeggen dat het DNG-bestand al een geïnterpreteerde versie van dat mozaiek zal bevatten. Niet aangeraden, om twee redenen: ten eerste maakt dit een véél groter bestand, en ten tweede: “demosaiceren” is een éénrichtingstraat—geen garantie dat er geen informatie verloren gaat.
     
  • origineel raw-bestand bewaren of niet: voor de paranoide mensen onder ons. Omdat lang niet alle DNG-formaten helemaal gedocumenteerd zijn, kan het altijd zijn dat er bij de conversie naar DNG informatie verloren gaat. Elke camerafabrikant steekt bijvoorbeeld een hele hoop nonsens in MakerNotes, met voor verschillende types camera dingen als met welke lens de foto genomen is, of panorama modus aan stond, waar de focus was, etc. — en wil het toch wel zijn dat die MakerNotes in DNG zo’n beetje rondgehusseld worden. 🙂
    Maar dus goed nieuws: zélfs als alles zou mis lopen, dan nog kan men in de DNG-file het oorspronkelijke raw-bestand laten zitten, en dat later met de converter er weer uit distilleren:

Extract

Uiteindelijk blijft er dus maar één vraag over bij de keuze van omzettingsparameters: het origineel bijhouden of niet?

Er is wel degelijk een risico op dataverlies, vergis u daar niet in. Zélfs, zie ik, met de gewone “standaard” Nikon D708 NEF-bestanden. Voor zover ik kan nakijken, worden alle MakerNotes mooi en volledig overgenomen, maar het beeld is niet hetzelfde na conversie naar DNG. Is dat een enorm groot probleem, dat dataverlies? Ik weet het niet. Oordeel zelf—dit is een stukje van 550 op 300 pixels geknipt uit het origineel:

Origineel

…en dit is hetzelfde stukje uit het DNG-bestand:

Dng

Enorm veel verschil is er niet echt, maar er is er wel. Zet ik de twee versies tot op de pixel gealigneerd boven elkaar in twee lagen in Photoshop, en zet ik de bovenste laag op “difference”, én voeg ik dan een adjustment layer aan om het verschil nog te accentueren, dan krijg ik dit te zien:

Verschil

Overal waar het niét zwart is, is er een uiterst zeer miniem klein verschil tussen de twee bestanden. Zó klein dat het eigenlijk niet zichtbaar is.

Mijn gedacht? Het kan me niet echt schelen dat er zo’n verschil is. Mischien dat ik van idee verander als ik een D200 heb en er blijken meer en ingrijpender verschillen te zijn, maar voor het ogenblik zit ik er niet mee in.

Want er is eigenlijk nog één ding: hoe groot worden die DNG-bestanden?

In een tabelletje, met voor de leute en ongelovige thomassen de verschillende jpeg-groottes die Photoshop in zijn save as produceert erbij, het gemiddelde van tien willekeurige raw-bestanden (“C” staat voor “compressed”, telkens met de grootte in kilobyte en een vergelijking in percent met de grootte van raw-bestand-met-XMP erbij):

bestandstype grootte (KB) % raw
JPG [kwaliteit 0] 192 4%
JPG [kwaliteit 1] 217 4%
JPG [kwaliteit 2] 276 5%
JPG [kwaliteit 3] 301 6%
JPG [kwaliteit 4] 348 6%
JPG [kwaliteit 5] 413 8%
JPG [kwaliteit 6] 509 9%
JPG [kwaliteit 7] 522 10%
JPG [kwaliteit 8] 682 13%
JPG [kwaliteit 9] 891 16%
JPG [kwaliteit 10] 1239 23%
JPG [kwaliteit 11] 1832 34%
JPG [kwaliteit 12] 2932 54%
NEF + XMP 5410 100%
DNG raw [C] 4648 86%
DNG raw + origineel [C] 9996 185%
DNG raw 12193 225%
DNG raw + origineel 17541 324%
DNG lineair [C] 20378 377%
DNG lineair + origineel [C] 25726 476%
DNG lineair 36108 667%
DNG lineair + origineel 41456 766%

Tja. Ik vind het hallucinant dat je met groottes tussen minder dan tweehonderd en meer dan veertigduizend K zit, maar uiteindelijk: realistisch gezien blijven er maar twee opties over.

Bij omzetting naar gecomprimeerde DNG zonder behoud van het originele bestand, krijg je een iets kleiner bestand: 85% van het origineel. Kies je ervoor om het origineel te behouden, dan kom je (duh!) op ongeveer 185% van het origineel.

Ik persoonlijk blijf nerveus dat ik uit zo’n omgezette DNG geen NEF meer zou kunnen trekken.

Misschien is de oplossing wel om de bestanden van de camera binnen te trekken, te sorteren, te bemetataggen, die dan naar off-line (of near-line) backup te sturen, en dan om te zetten naar DNG, en voor de rest met ie DNG te werken in DAM? Misschien wel, ja. Maar ik denk niet dat ik het zo ver laat komen: mijn opslagruimte is, parallel met mijn budget, ook maar beperkt, en ik zie het niet zitten om voor elke gigabyte foto’s nog eens een extra gigabyte mee te slepen “just in case”.

Dus bij wijze van conclusie: ondanks mijn initiële scepticisme tegen DNG, denk ik dat ik voorlopig wel eens zou durven het volgende te doen:

  • de overgrote meerderheid van de run of the mill-foto’s in DNG zetten
  • de “belangrijke” foto’s—dingen zoals die van de geboorte van Anna—zet ik voor de zekerheid in DNG met het origineel erbij [één caveat emptortje wel: foto’s met mijn Fisheye Nikkor getrokken moeten in NEF of embedded behouden blijven, anders kan Nikon Capture ze niet meer de-fisheyen.]

…en wel om twee en een halve reden:

  1. door de band is het DNG-bestand kleiner en win ik dus plaats
  2. DNG heeft een hoge-kwaliteit gerenderde versie van de eventueel bewerkte en gecropte foto, waardoor beheer in pakweg IView gemakkelijk wordt
  3. [en ik ben van die vieze XMP-sidecar-bestandjes af—opgeruimd staat proper]

16 reacties op “Rauw V: archivering”

  1. Pingback: Pietel.be
  2. Toch wel leuk als je zelf al dat zoekwerk niet moet doen, bedankt Michel 😀

    Voor de rest is iView Media Pro inderdaad een goeie DAM oplossing, al is het maar door zijn offline catalogs. Het enige probleem dat ik ook had was dat je door NEFs te catalogeren met IVMP een nogal vertekend beeld van de fotos te zien krijgt.

    Nu dat ik nog maar net met RAW shooting gestart ben is het misschien niet slecht om toch eens goed over die DNGs na te denken.

    ‘k Kan al niet wachten op je ‘bucket systeem’ post 🙂

  3. Krogh focust zich inderdaad op Adobe Bridge, maar net zo goed op Iview. Het zijn keuzes die je maakt. Ook naar toegankelijkheid toe.

    Mijn 10.2 MP RAW wegen 15MB, de DNG versie de helft. K weet echter niet of het iets is waar mee ik verder wil.

    Alleszins weer een interessante post.

  4. Zonet nog wat zitten rondsnuisteren over DNG en ik denk dat ik wel eens van het begin af aan met DNG ga werken. Al is het maar voor de up to date thumbnails die in die DNGs ingebed worden. Gewoon, direct Adobe DNG convertor gebruiken voor de ‘ingest’ fase. Binnensleuren, renamen en dan met Bridge de IPTC tagging gaan doen, op de DNGs.

    Ik ben natuurlijk bijlange niet zo professioneel of semi-professioneel met fotografie bezig als de rest hier, dus voor mij persoonlijk denk ik dat ik genoeg heb aan de DNG versies. Ik bedoel maar, als er toch proprietaire data zit in die NEFs die niet ondersteund wordt door ACR, waarom zou ik er dan over inzitten?

    Misschien naar de toekomst toe? Als er toch opeens ongedocumenteerde features van het NEF formaat vrijgegeven worden en ik opeens veel meer blijk te kunnen doen met die fotos? De vraag is of ik dan goesting ga hebben om de talloze, reeds getweakte en ontwikkelde, files dan nog eens door mijn RAW converter te sturen om gebruik te maken van die nieuwe features.

    Zolang ik die DNG kan metataggen, tweaken en catalogeren (liefst met een correcte embedded thumbnail in de DNG) dan zit het wel snor voor mij. Als ik de file toch aan iemand anders moet geven dan krijgt die wel een TIFF, of — voor de bomma of zo — een JPG.

    Michel, je kunt misschien best eens beginnen denken aan het schrijven van een boek over al die dinges :P.

  5. Misschien moet Apple u eens een mac computer sponseren, dan kan je wat specifieke mac softs bespreken.

    Ik weet wel niet of ik je conclusie vat. Je start sceptisch tov DNG, maakt een kleine bocht, maar eindigt terughoudend?

    ‘T is allemaal een kwestie van standaarden en wie de wedstrijd wint. VHS/betamax, DVD +/- en bij blue ray is het opnieuw prijs…

  6. ‘k Heb hier nog mijn oude (nu ja, oud precies) Powerbook 1.33Ghz liggen. Als je hem eens een weekje wil testen Michel geef dan gerust een seintje 🙂

  7. @Pietel: conclusietje aan gebreid. 🙂

    @CraHan: ‘t is lief, maar ik denk dat ik me ooit wel eens zo’n Mac-met-intel ga kopen. Dan eens.

    Ik heb hier eigenlijk een oude Powermac staan, en ook wel een Mac LC II, en een oude Mac SE 30… maar da’s ook alweer eeeeeuwen geleden dat ik die dingen opgestart heb. LAat staan dat er uiteraard OSX op draait.

  8. Zit/zat met dezelfde problematiek in mijn hoofd … iView versus iMatch, MRW (MinoltaRAW) versus DNG, hoeveel backups moet een mensch bijhouden om maar veilig zijn en een garantie te hebben naar de toekomst toe, is het waar dat DVD’s desintegreren na 10 jaar en moet je dan echt van die enorm dure “300 year warranty DVD’s” kopen 🙂 LOL. Je posts verhelderen, maken dingen duidelijk – ik heb nog veel research te doen. En de tijd dringt …
    Ik kijk alvast uit naar je review van iView – ben momenteel bezig iMatch te testen en dat loopt aardig.

  9. “compression of niet: ik zie geen enkele reden om géén compressie te gebruiken. Dit aanvinken maakt van het eindresultaat een kleiner bestand, zonder enig kwaliteitsverlies (vergelijk het met een zip-file maken van het beeld)”

    Ik ken een belangrijke reden: de afhankelijkheid van een implementatie van het decompressiealgoritme in de toekomst om het zaakje uit te lezen. Nu nog geen probleem, twintig jaar verder misschien wel. Kijk maar eens hier en daar! Overigens wijzen de meeste digitale archivarissen compressie op het niveau van digitale masters gewoon af.

  10. afhankelijkheid van een implementatie van het decompressiealgoritme in de toekomst om het zaakje uit te lezen

    …niet echt van toepassing: DNG, en dus ook de gebruikte compressie, is volledig gedocumenteerd.

    wijzen de meeste digitale archivarissen compressie op het niveau van digitale masters gewoon af

    Waarom? Lossy kan ik uiteraard wel inkomen, maar lossless ook afwijzen?

  11. Pas je lessenreeks ‘RAW’ ontdekt en zelfs gelezen. Een paar beter-laat-dan-nooit-bedenkingen :
    1. RAW vs. JPEG : RAW is de correcte keuze, maar heeft wel gevolgen voor je geheugen/buffer. Op een 1GB Exteme III kaart kan je +/- 60 opnames opslaan en heb je een buffer van 22 (niet gecomprimeerd – ISO 100 – Nikon 200). JPEG (3872*2592 px – vaste grootte – compressie 1:4) laat 167 opnames toe met een buffer van 37.
    Wat doe ik ? RAW enkel gebruiken indien ik ‘fotografeer’ en JPEG voor het snapshot-gebeuren. Of neem wat extra geheugen…
    2. DNG : Wie overstapt naar DNG, moet ook zijn workflow even bekijken. Niet alle software ondersteunt DNG en zelfs niet alle RAW-formaten zijn omzetbaar naar DNG. Meestal is dit wel het geval, maar toch even nazien…
    3. Toekomst DNG : hoewel Leica en Hasselblad en nog een handvol DNG direct ondersteunen in hun camera’s, doet bvb. Nikon en Canon dit nog niet. Lijkt dat de strijd toch nog niet geleverd is. What’s the problem ?? Zo recent is DNG nu ook niet.
    4. Extra voordeel DNG : ‘t is toch wel handig dat je alles onder 1 formaat kan opslaan (DNG) ipv 87.000 RAW-formaten zonder degelijke documentatie.

  12. Als video editor is de hoeveelheid beeldoslag en de bewaarbaarheid belangrijk. Raw fotobestanden zijn in het algemeen relatief klein. Waarom deze bestanden (de orginelen) niet gewoon op een hard schijf bewaard. Met een kopie ervan kun je dan doen wat je wilt je hebt altijd nog het origineel achter de hand. Een 500Gb harde schijf inclusief USB 2.0 aansluiting doet ongeveer 140 euro. Op 500 Gb kun je een grote hoeveelheid originelen archiveren. Via een kaarlezer kun je de bestanden van je fototoestel geheugenkaart naar je PC overzetten en op de externe schijf zetten.
    Lex

Reacties zijn gesloten.