Vorige week typte ik uit nieuwsgierigheid bol.com/robots.txt in de browser om te kijken of er iets te ontdekken valt.
Waarom zult u denken? Om dit te kunnen begrijpen laat ik hieronder eerst een uitleg zien over robots.txt.
Robots.txt uitgelegd door Jeroen.com:
Robots.txt is een tekstbestand dat men kan schrijven en in de root van een webserver kan plaatsen. Met dit bestand kan men aan zoekmachines aangeven of de pagina wel in de index moet worden opgenomen of niet. Tevens kan men aangeven of de links gevolgd moeten worden. In een robots.txt kan men bepaalde zoekmachines of zoekmachine-agents uitsluiten. Je kunt bijvoorbeeld hierin aangeven dat je wel door Google bezocht wilt worden maar niet door een andere zoekmachine. De robots.txt is op dit moment alleen van belang als je bepaalde pagina’s wilt uitsluiten van indexering. Toch is het voor de volledigheid verstandig om aan alle pagina’s een juiste robots.txt toe te voegen.
In de robots.txt van bol.com viel mij het volgende gedeelte op:
Disallow: /nl/l/dier/*
Disallow: /nl/l/tuin/*
Disallow: /nl/l/klussen/*
Vorig jaar februari had bol.com gemeld in nieuwe categoriën te stappen:
Bekijk een artikel van Twinklemagazine hierover, of het relevante stukje hieronder:
De regel “producten voor huis & tuin” valt dan op.
In de maand november van vorig jaar werd bekend op Twinklemagazine dat bol.com in 2013 in drie grote nieuwe categoriën zal stappen.
Welke dat zijn, is nog niet bekend gemaakt.
Als ik de namen uit robots.txt controleer op bol.com in de adresbalk, en dit vergelijk met bestaande pagina’s, wordt er keurig een lege categoriepagina weergegeven.
Met het bovenstaande gegeven, en de adressen gevonden in robots.txt, is mijn voorlopige conclusie dat het inderdaad zal gaan om de productgroepen “dier”, “tuin”, en “klussen”!
Ik ben benieuwd 
Inmiddels heeft Twinkle Magazine hier ook melding van gemaakt, en in navolging daarvan ook RTLZ, De Telegraaf, en Belegger.nl .
Volg mij op Twitter