Inspirerend user-event Proctoring op hoofdkantoor eX:plain

17 apr 2018

Proctoring; voor eX:plain is het een strategische keuze om mee te gaan in de transitie van traditionele examinering naar deze nieuwe vorm van online examinering. Afgelopen dinsdag 10 april organiseerden we daarom voor het eerst een user-event over nut en noodzaak van proctoring. Een inspirerende middag met verschillende deskundige sprekers.

Als dagvoorzitter mocht ik de middag aftrappen met een introductie over Proctoring Services, een nieuwe afdeling binnen eX:plain met kenmerken van een Lean startup. Leren en continu verbeteren vinden wij essentieel. Vandaar dat feedback welkom is. Het user-event leek ons een goed middel om ervaringen uit te wisselen en daarvan te leren.

Eerste spreker was Koen Verhulst, stafmedewerker dienst Onderwijsbeleid Vives University College. Verhulst vertelde hoe de instelling ongeveer 10 jaar geleden begonnen is met proctoring van één student in Dubai. De opnames gingen toen met Skype en een-op-een toezicht. Nu is Vives gegroeid naar ongeveer 1000 online examens per jaar. Hierbij is de koppeling met Edumatic cruciaal. Edumatic is een toetsservicesysteem met planningsfunctionaliteit. Studenten kunnen hierdoor gemakkelijk op vaste timeframes online examens boeken. Bij de keuze voor examen doen op locatie of online speelt afstand een rol. Daarnaast valt op dat zelfs studenten die om de hoek van de universiteit wonen, kiezen voor online examinering. Dit heeft vooral te maken met de voorkeur voor de rustige en vertrouwde huisomgeving.

Na Verhulst kwam Daniel Haven, CEO ProctorExam aan het woord. Als technologiepartner van eX:plain besprak hij vooral de technische ontwikkelingen. Haven presenteerde de product roadmap met de belangrijkste ontwikkelingen voor het ProctorExam platform. Teddy Funger, CEO ProctorExam demonstreerde via Skype een koppeling met LTI (Learning Tools Interoperability). LTI kan gebruikt worden als een eenvoudig te implementeren koppeling tussen onderwijssystemen. In dit geval werd duidelijk hoe je een veilige koppeling kunt maken tussen het ProctorExam platform en een toetsservicesysteem. Hierbij is het niet meer nodig om in te loggen met naam en password. Ook wordt voorkomen dat de URL gekopieerd en opnieuw gebruikt kan worden.

Na de pauze was er een live-verbinding met Don Kassner, CEO MonitorEDU. Kassner is de grondlegger van proctoring in de Verenigde Staten en heeft zich als partner van ProctorExam geheel toegelegd op het internationaal opzetten van online proctoring. Don gaf een kijkje in de toekomst met zijn presentatie ‘The future of remote testing security’. De proctoring techniek heeft zich enorm ontwikkeld tot wat nu genoemd wordt Proctoring as a Service. Hierbij zijn de verschillende proctoring methodes geïntegreerd in een platform.

Daarnaast wordt er steeds meer data verzameld als bewijs voor mogelijke fraude zoals video, audio, computer, log data vanuit het toetssysteem en data forensics.

Huub Zonjee, projectcoördinator Geoscience Faculty Office aan de Universiteit Utrecht gaf een presentatie over zijn eerste ervaringen met online proctoring. Proctoring Services werden ingezet voor de selectiedag van de studie Geowetenschappen. Voor deze studie waren 500 aanmeldingen binnengekomen, waarvan 100 internationaal. Proctoring Services maakte het mogelijk om op afstand de internationale studenten te bedienen. Zonjee gaf aan dat de communicatie over het gebruik van online proctoring cruciaal is. Voor de meeste studenten is het nieuw en daarnaast er komt ook de nodige techniek bij kijken. Bovendien is het belangrijk om goed na te gaan of het toetsservicesysteem voldoende mogelijkheden biedt om het examen digitaal af te kunnen nemen. Tot slot is het een uitdaging om het ecosysteem op orde te hebben zodat iedere waardeketen (boekingssysteem, toets servicesysteem en proctor systeem) goed geïntegreerd wordt voor een optimale klantvriendelijkheid.

Als laatste spreker kwam Kees Boonman aan het woord. Boonman is senior-adviseur bij eX:plain en was o.a. verantwoordelijk voor het VCA-examenstelsel. Ook is hij initiatiefnemer voor de ontwikkeling van Dataforensics, een afdeling bij eX:plain die zich bezighoudt met fraudepreventie door gebruik te maken van de log data van toetsservicesystemen. In samenwerking met de Universiteit Twente zijn 15 algoritmes op verschillende niveaus ontwikkeld. Met deze algoritmes is het mogelijk om het gedrag van de een examenkandidaat te analyseren en te detecteren of er sprake is van fraude. Met 97% betrouwbaarheid wordt de fraude vastgesteld waarbij de pakkans 47% bedraagt.

Tijdens de borrel is er nagepraat en werd aangegeven dat de presentaties heel verhelderend waren. Iedereen heeft een goede indruk gekregen over wat er nodig is om examens te organiseren met online proctoring. Belangrijke zaken zijn goede voorlichting, de juiste keuze in het toetsservicesysteem en het zo klantvriendelijk mogelijk opzetten van het boekingsproces en de inlogprocedure. Deze zaken zullen, samen met gebruikmaking van de proctoring data in combinatie met de log data van het toets service systeem, naar mijn verwachting leiden tot een versnelde aanvaarding van proctoring.

Harald de Vries, programmamanager Proctoring Services

Deze organisaties en scholen werken al met Proctoring Services