Ik ben zo ongeveer de hele dag bezig geweest data over te zetten van een spreadsheet naar een database.

In het ideale geval is dat relatief eenvoudig werk, gewoon wat normaliseren en zo, maar dit was verre van een ideaal geval. Om te beginnen was de spreadsheet eigenlijk niet de brondata, maar wel een manuele kopie van de brongegevens. Manueel gekopieerd, het origineel hier en daar aangepast, de kopie hier en daar aangepast, consistentie nul.

Voornamen die achternamen worden, achternamen die plots op verschillende manieren gespeld worden, namen van locaties en talen die op tien verschillende manieren geschreven worden, hier en daar HEELDER STUKKEN IN HOOFDLETTERS, dubbele records waarbij de ene een helft ingevuld is en de andere de andere helft — serieus, ik denk dat ik alle mogelijk vuiligheid die men kan uithalen met een gegevensbestand meegemaakt heb.

En dus was het veel, zeer veel manueel werk. Hier en daar wat bijgestaan door knip- en plakwerk en scripts met Excel en Python en gerief, maar toch vooral veel manueel werk om het in een min of meer bruikbaar formaat te krijgen.

Ik zeg wel: min of meer. Want net zoals het niet mogelijk is om CSI-gewijs uit het niets iets te maken, is het bijvoorbeeld niet mogelijk om iets te maken van een lijn waar allerlei details ingevuld staan maar stomweg geen voornaam, achternaam, geboortedatum, locatie, of contactgegevens. Al de rest staat er wel hoor, maar geen manier om te achterhalen wie het juist is, of het zou moeten zijn dat iemand nog ergens notities op papier heeft of zo.

En dat er dan iemand zich serieus zal mogen bezig houden met het allemaal uit te vlooien op correctheid — want al weet ik van sommige dingen dat ze fout zijn, ik kan ze bijna nooit zelf corrigeren.

Afijn. Andermaal Django to the rescue: wat een fijn frameworkje is dat toch. De mensen die met de data zullen werken, zouden er moeten content van zijn. Snel en handig en met geschiedenis bijgehouden en alles: een gerief.