Gedachten lezen via webcams van MindTrace

Door oogbewegingen, gezichtsuitdrukkingen en de hartslag van proefpersonen te vertalen in slimme algoritmen heeft neurowetenschapper Adjmal Sarwary software ontwikkeld, die een webcam ‘gedachten kan laten lezen’. Met zijn bedrijf MindTrace geeft hij neuromarketing-advies aan bedrijven in binnen- en buitenland.

Hoe een mens staat, beweegt en praat, zegt heel veel over die persoon en zijn gemoedstoestand. Andere mensen registreren dat meteen. ‘Een computer begrijpt die lichaamstaal niet’, zegt Adjmal Sarwary (35). ‘Met MindTrace hebben we software ontwikkeld, die beelden van proefpersonen via een standaardwebcam analyseert en vertaalt in informatie over hoe een boodschap wordt ontvangen. Daar kun je heel veel mee doen. Testen of een reclameboodschap goed wordt begrepen, bijvoorbeeld.’

De beelden van de webcam die de reacties van proefpersonen registreert gaan rechtstreeks naar het servicesysteem van MindTrace. Met behulp van computer vision en kunstmatige intelligentie (AI) worden de oogbewegingen (eye tracking), gezichtsuitdrukkingen (emotion tracking) en de hartslag (heartrate tracking) van de proefpersonen geanalyseerd. ‘Je zou kunnen zeggen dat je daardoor met de webcam als het ware de gedachten van de proefpersonen kunt lezen’, zegt Adjmal Sarwary met een glimlach.

Neuromarketing

Deze vorm van neuromarketing, waarbij onze reacties haarfijn wordt geanalyseerd door slimme algoritmen, is enorm interessant. Tegelijkertijd is het ook een beetje eng: hoe veilig is dergelijke software? En wat gebeurt er met die gegevens? ‘Veiligheid van data is ongelooflijk belangrijk. Onze data zijn allemaal versleuteld’, zegt Adjmal Sarwary. ‘En de proefpersonen met wie wij werken krijgen allemaal uitleg over hoe we werken en voor wie het onderzoek wordt gedaan.’

MindTrace is in april 2019 opgericht door Adjmal Sarwary en doet onderzoek in opdracht van bedrijven in binnen- en buitenland. Van de NS, Mercedes Benz en Lufthansa tot Garmundo, een internationale webshop voor planten. ‘We worden ingeschakeld door marktonderzoeksbedrijven en door user-experience-designbureaus.’

Universiteit van Osnabrück

Adjmal Sarwary studeert Cognitieve Wetenschappen aan de Universiteit van Osnabrück, waarbij hij een stage van zes maanden in de Verenigde Staten doet. ‘Voor mijn master wilde ik graag weer naar het buitenland, maar mijn moeder vond het niet fijn als ik zo ver weg zou gaan. Aangezien Nederland over de beste cognitieve neurowetenschappelijke opleidingen beschikt, heb ik me bij vijf Nederlandse universiteiten ingeschreven.’

Dat Adjmal Sarwary voor Nijmegen kiest, heeft te maken met zijn liefde voor breakdance. ‘De universiteiten van Amsterdam en Utrecht wilden me niet hebben. Dus bleven Groningen, Maastricht en Nijmegen over. Aan mijn vrienden heb ik gevraagd waar na Amsterdam de grootste breakdance-scene is. Dat is in de regio Arnhem Nijmegen. Van het Donders Instituut, waar ik in 2016 ben afgestudeerd, had ik toen nog nooit gehoord’, klinkt het met een glimlach.

Breakdance

Zijn link met breakdance zorgt er ook voor dat Adjmal Sarwary geïnteresseerd raakt in de werking van hersenen. ‘Als kind was ik niet goed in gymnastiek. Ik kon geen handstand doen. Als vijftienjarige zag ik een demonstratie breakdance. Dat vond ik geweldig. Ik dacht: dat wil ik ook. Door heel veel te oefenen, lukte dat. Dus ook als je geen uitgesproken talent voor iets hebt, kun je iets leren, ontdekte ik. Daardoor vroeg ik me af hoe zoiets aanleren, in je hersenen werkt.’

Bij het Donders Instituut voor Hersenonderzoek, verbonden aan de Radboud Universiteit Nijmegen, studeert Adjmal Sarwary vanaf 2009 Cognitieve Neurowetenschappen. Er zijn vier keuzerichtingen, zoals hersenonderzoek gericht op hoe de hersenen taal verwerken en perceptie, actie en control van de hersenen. Adjmal Sarwary kiest voor die tweede richting. ‘Ik vroeg me af hoe we zulke complexe dingen, zoals breakdance, kunnen leren. Er wordt in Duitsland veel naar talent gekeken, ik weet niet hoe dat in Nederland is. Talent zegt niet alles, iedereen kan heel veel leren. Iedereen kan complexe dingen leren. De snelheid waarmee je dat leert, dat heeft met je talent te maken.’

Machine learning

Tijdens zijn studie in Nijmegen komt Adjmal Sarwary onder meer in aanraking met machine learning. Dat vindt hij interessant, omdat het gaat over hoe je computers dingen kunt laten leren. Hij maakt ook kennis met iemand van een marketingbureau. ‘Op een dag kwam er een man in een pak binnen, dat vond ik bijzonder.’ Lachend: ‘Hersenwetenschappers dragen geen pakken.’

De man vertelt dat hij geïnteresseerd is in het gebruik van hersenscans voor marketingdoeleinden. Adjmal Sarwary denkt er het zijne van: ‘Ik wist: zo werken hersenscans niet en het is veel te duur. Maar de vraag vond ik wel interessant.’ Enige tijd later blijkt de baas van zijn vader geïnteresseerd te zijn in eye tracking. ‘Mijn vader stelde voor dat hij eens met mij zou praten. Aan het eind van het gesprek had ik mijn eerste opdracht. Dat had ik helemaal niet verwacht, ik zag het gesprek als leuke ervaring.’

Eenmaal bezig met eye tracking, constateert Adjmal Sarwary dat het verzamelen van data ‘eigenlijk heel saai is’. Dat brengt hem op het idee om de data via een webcam te verzamelen. In eerste instantie gaat het alleen om de bewegingen van het oog, later combineert hij dat met heart rate tracking en emotion tracking. Ook dat blijkt goed te registreren via een webcam. ‘Je moet er wel veel techniek omheen programmeren om de juiste nauwkeurigheid te krijgen, maar het werkt heel goed.’

Ondernemer

Zodra Adjmal Sarwary ziet dat door het werken met een webcam en slimme algoritmen het neuromarketingonderzoek schaalbaar is, beseft hij dat ‘daar business inzit’. Dan dient de vraag zich aan: hoe doe je dat een bedrijf opzetten? Hoe vertaal je wetenschappelijke kennis naar een businessplan? Met steun van de stichting Techniek en Wetenschap gaat de Nijmeegse wetenschapper aan de slag met het opzetten van een ‘proof of concept’ van zijn techniek en het maken van een businessplan.

Hij doet een paar stappen extra en presenteert een werkbaar en schaalbaar prototype en twee betalende klanten. Het zijn bedrijven in Zwitserland en Roemenië, die werken aan het optimaliseren van hun websites. Het duurt even voor grote bedrijven in zee gaan met MindTrace. Adjmal Sarwary verbaast zich erover dat ze iets hebben van ‘wat we tot nu toe doen, is toch prima’. Hij realiseert zich dat er een groot gat gaapt tussen de wetenschappelijke wereld en het bedrijfsleven. ‘Ik heb geleerd dat contacten opbouwen stapje voor stapje gaat. Nu vraag ik vooral wat een bedrijf nodig heeft om zijn processen te verbeteren. Als je laat zien dat je geïnteresseerd bent in wat zij doen, dan raken ze ook geïnteresseerd in wat jij doet.’

Over zijn ervaringen als wetenschapper én ondernemer maakt Adjmal Sarwary podcasts (adjmal.com) met mensen uit de wetenschap, technologie en de zakenwereld.

Dit artikel verscheen eerder op Tech Gelderland.