Het sociale web: een goudmijn aan data

Onbekommerd geven we steeds meer van onszelf prijs aan de openbaarheid. Facebook, LinkedIn en Twitter weten van honderden miljoenen mensen wat ze leuk vinden, waar ze zich bevinden, wie ze kennen en met wie ze bepaalde interesses delen. Constant worden via het sociale web enorme hoeveelheden data geproduceerd door en over individuen. De kennis die in die netwerken ligt opgesloten is van onschatbare waarde voor marketeers en productontwikkelaars. Als ze die enorme databerg weten te ontginnen, hebben ze goud in handen.

Behavorial targeting

Met hulp van de razend populaire netwerksites kan steeds meer marktinformatie gekoppeld worden aan persoonlijke gegevens. Voor een groot deel doen de gebruikers van social media dat al zelf in hun profielen, bewust of onbewust. Meestal begrijpen ze wel dat hetgeen ze plaatsen op een profielensite niet enkel wordt gezien door vrienden, maar dat ook bedrijven, (toekomstige) werkgevers of zelfs cybercriminelen kunnen meegluren. Of het nu naïviteit is of gecalculeerd risico, een deel van het internetpubliek heeft er blijkbaar geen problemen om zichzelf bloot te geven. Dat biedt slimme bedrijven de mogelijkheid consumenten op internet persoonlijk te benaderen en relevante aanbiedingen te doen.

Zoals er software bestaat die bezoekers van een website advertenties kan voorschotelen die aansluiten bij hun zoekgedrag op Google, zo bestaan er ook programma’s die personen in een klantendatabase kunnen koppelen aan informatie op Facebook. Door gebruik te maken van de juiste algoritmes kunnen de gegevens worden omgezet in marketinggoud. Bedrijven kunnen klanten een aanbod voorschotelen dat past bij de interesses die ze hebben aangegeven in hun Facebook-profiel. Sommigen zien in deze vorm van behavorial targeting een onschuldige en innovatieve vorm van dienstverlening die de meeste klanten als relevant beschouwen. Anderen zien het als een verwerpelijke schending van de privacy.

Social Intelligence

Hoe dan ook, het managen en analyseren van datastromen is een miljardenmarkt die 2 keer zo snel groeit als de reguliere softwaremarkt. Menige softwarereus probeert een graantje mee te pikken uit de ruif van social media intelligence. Web 2.0 is inmiddels een vast onderdeel van de data-mining oplossingen van IBM, SAP, Oracle, en Microsoft. Ook ’s werelds grootste profielensite zet serieus in op het vermarkten van het sociale goud. Onder de naam F-Commerce biedt Facebook bedrijven een eCommerce-platform voor directe verkoop via Facebookpagina’s. Ze kunnen daarmee gerichte aanbiedingen doen op basis van onder meer ‘likes’, aankoopverleden, geografische en demografische gegevens van Facebook-gebruikers.

Het exploiteren van de enorme hoeveelheden digitale data biedt volgens onderzoekers ongekende mogelijkheden voor innovatie en productiviteitsgroei. Maar dat ontginnen is niet makkelijk als je te maken hebt met datasets waarvan de totale omvang inmiddels wordt uitgedrukt in zettabytes. De hoeveelheid opgeslagen informatie op het internet verdubbelt iedere 2 jaar en dit jaar wordt naar verwachting de grens van 1,8 zettabyte gepasseerd. Dat heeft onderzoeksbureau IDC berekend in opdracht van EMC, een producent van back-up en storage systemen.

Een zettabyte, het is een hoeveelheid waar weinigen zich iets bij kunnen voorstellen. Het is zo’n 1.000 miljard gigabyte. Dat zet je niet zo maar even op je harde schijf. En dat is ook niet nodig. In het rapport ‘The Digital Universe Decade – Are you ready?’ schetst IDC een toekomst waarin CIO’s en slimme IT’ers de kosmonauten zijn die het digitale universum eenvoudig voor ons weten te exploiteren langs virtuele infrastructuren. In de cloud analyseren ze zettabytes aan ongestructureerde informatie met nieuwe, geavanceerde tools voor Business Intelligence.

Big Data

Deze ontwikkeling wordt aangeduid met de term Big Data. De onderzoekers van IDC gaan er van uit dat 80-90% van alle data ongestructureerd is opgeslagen en zo’n 70% zou afkomstig zijn van consumenten. Volgens IDC kunnen organisaties waardevolle informatie uit deze ongestructureerde data halen. Vanwege de grote impact hiervan op de concurrentiekracht en het innovatieve vermogen zouden bedrijven de ontwikkelingen op het gebied van big data zeer serieus moeten nemen.

Big data vormen echter geen uniform geheel. Ze bestaan uit onder andere tekstdocumenten, klantgegevens uit (mobiele) applicaties, scans, foto’s, video’s, tweets en updates vanuit websites als Facebook en LinkedIn. Volgens een bedrijf als IBM zijn er op dit moment nog geen goede tools voor het analyseren van dergelijke grote hoeveelheden ongestructureerde data. Het bedrijf ziet de markt als zo beloftevol dat het $100 miljoen investeert in onderzoek naar analyse-tools voor big data.

Volgens onderzoek van McKinsey Global Institute (MGI) kunnen bedrijven het zich niet veroorloven om te wachten op de oplossingen die IBM en consorten voor ons in petto hebben. Daarvoor zouden de strategische belangen van big data te groot zijn. Big data gaan volgens McKinsey de economie radicaal veranderen. Om zich voor te bereiden op de ‘big data world’ zouden bedrijven daarom nu moeten beginnen met het ontwikkelen van een datastrategie voor de hele organisatie.

Zoekmachine-applicaties

Mogelijk bieden zoekmachine-applicaties op kortere termijn uitkomst. Anders dan BI-systemen, zijn zoekmachines van de grond af ontworpen om snel te zoeken door grote hoeveelheden data uit allerlei bronnen. De architectuur van een zoekmachine is erop gericht om heel efficiënt en supersnel zoekopdrachten af te handelen op allerlei niet-gelijksoortige interne en externe bronsystemen. Natuurlijk kleven er ook nadelen aan deze zogenaamde SBA’s (search based applications). Ze zijn minder geschikt voor opslag en beheer van data en hebben moeite met complexe analyses, maar het grote voordeel is dat ze veel goedkoper zijn dan de huidige BI-oplossingen en de technologie is al voorhanden.

Of IBM met zijn miljoeneninvesteringen een nieuwe goudader aanboort, zal nog moeten blijken. Al die zettabytes aan klantinformatie zijn niet zomaar toegankelijk. Er spelen eigendomskwesties, er zijn juridische haken en ogen en terechte zorgen over privacy. En misschien overdrijven de onderzoekers van IDC ook wel een beetje. Voor een groot deel bestaan de opgeslagen digitale data uit kopieën, volgens sommige wel 75%, en lang niet alle data op sociale netwerken is relevant, de kenners houden het op hooguit 20%. Zo geredeneerd, blijft er van die 1,8 zettabyte nog maar zo’n 5% aan unieke en relevante informatie over. Een goudmijn van zo’n 90 miljard gigabyte. Het blijft evengoed een duizelingwekkende hoeveelheid waar de meesten van ons zich niets bij kunnen voorstellen.