Het was al heel, heel, héél erg lang geleden dat ik nog eens in de problemen was geraakt met het geheugen van mijn computer, maar daarnet was het zo ver.
Geen blauwe schermen of zo, maar wel al mijn gigabytes aan RAM stampensvol, en ongetwijfeld heelder stukken harde schijf ook. Da’s dus één van de weinige nadelen aan een SSD: in tegenstelling tot een harde schijf met bewegende delen, hoort een mens niet wanneer de computer aan swappen is voor vermoord.
Want ha, wie had dat geraden: een tabel maken van een paar miljoen rijen op een paar duizend of zelfs maar een paar honderd kolommen, dat is niét zo’n uitstekend idee. Niet dat het niet werkt of zo, maar wel dat het de computer serieus op de knieeën krijgt. Vooral als een mens tegelijkertijd een tabel van 80.000 rijen op 200 kolommen in een stacked bar chart aan het wurmen is in Excel.
Ahem ja.
Verwerkte bestanden van meer dan 3 gigabyte, da’s dus nét te groot om handig te verwerken op een simpele laptop. Tijd om er een paar dimensies uit te wippen, me dunkt — back to the MapReduce!