Hoe ga je als onderwijs- of kennisinstelling om met AI-functionaliteiten in je onderwijsapplicaties? Voldoen ze aan wettelijke regels en de normen van je organisatie? Avans-onderzoekers presenteren deze week een handreiking met praktische tips voor onderwijsprofessionals.
AI is overal. Ook in onderwijsapplicaties (EdTech). Maar onderwijsinstellingen weten nog niet goed hoe ze hiermee om moeten gaan. Daardoor kunnen studenten en docenten veelbelovende AI-functionaliteiten vaak niet gebruiken. Avans-onderzoekers bogen zich over de vraag: kan dat niet anders? Zij presenteren deze week aan betrokkenen een conceptversie van de Handreiking Samenwerken aan Continuous Delivery van AI in EdTech tijdens het landelijke EdTech-event De kunst van samen in Utrecht.
Esther van der Stappen is lector Digitale Didactiek bij expertisecentrum Future-Proof Education. Ze leidt het project rond het opstellen van de Handreiking. Michele Fumarola is Chief Data & AI Officer bij Avans. Zijn doel is om binnen de organisatie AI en data op een ethische, strategische en effectieve manier te gebruiken voor het verbeteren van onderwijs, onderzoek en bedrijfsvoering. We spreken hen over de Handreiking en het belang van een goed AI-innovatiebeleid.
Het onderzoek draait om onderwijsapplicaties die regelmatig en automatisch geüpdatet worden. Avans werkt met ruim 1100 van zulke applicaties. Bij een update worden vaak de gebruikersmogelijkheden uitgebreid, bijvoorbeeld met nieuwe oplossingen of tools op basis van AI-technologie. Hoe belangrijk is het dat je als afnemer zelf beslist of je daar gebruik van wilt maken?
Esther: “We werken bij Avans allemaal met Microsoft 365. Begin november konden we na een update gebruik maken van twee vernieuwingen in Outlook op basis van AI: Copilot en Samenvatten. Al snel bleek het risico op datalekken daarbij veel hoger dan Avans wenst. We konden niet zelf de keuze maken om de functionaliteiten weg te laten of uit te schakelen. Dat wil je niet als afnemer. En dat geldt ook voor onderwijsapplicaties als Brightspace, Wooclap en FeedbackFruit. Sterker nog: je wilt betrokken zijn bij de ontwíkkeling van AI-innovaties voor die applicaties, zodat ze ook echt bijdragen aan de kwaliteit van je onderwijs en onderzoek.”
Wat hebben jullie onderzocht?
Esther: “We zijn met een bestaande casus aan de slag gegaan en hebben het onderzoek samen met FeedbackFruits opgepakt. Dat bedrijf biedt een applicatie die gekoppeld is aan onze digitale leeromgeving Brightspace. FeedbackFruits kondigde een update aan. Die bood de mogelijkheid om door de docent opgestelde criteria voor de beoordeling van opdrachten door AI verder aan te laten vullen. Daarbij werden geen persoonsgegevens gebruikt. Het ging om een functionaliteit die docenten aardig wat tijd kon schelen. Het risico was laag. Toch is de tool uiteindelijk niet in gebruik genomen.”
Hoe kwam dat?
Esther: “We gingen met alle betrokkenen samen in gesprek en konden zo een goed beeld schetsen. Conclusie was dat het proces zo stroef verliep dat het uiteindelijk is blijven steken. Een paar knelpunten: er is binnen Avans niemand duidelijk ‘eigenaar’ van dit vraagstuk. De bereidheid om risico’s te nemen op het gebied van dit soort AI-innovaties is laag. Ook gaan er bij de term AI nog steeds veel alarmbellen af en vindt er een soort verlamming plaats. Verder liep het proces via zo’n 15 verschillende personen. Veel checks werden dubbel gedaan, bijvoorbeeld op juridisch vlak. Kortom: er viel veel te verbeteren. Op basis van onze bevindingen schreven we de handreiking.”
Die handreiking moet bruikbaar zijn voor alle instellingen in het Nederlandse vervolgonderwijs. Spelen deze knelpunten ook op andere plekken?
Esther: “Die vraag zat niet in de scope van dit onderzoek, maar we gaan ervan uit dat Avans hier niet enorm afwijkt. Als je met onderwijsprofessionals van andere instellingen praat, is dat ook wat je hoort. Avans is op dit gebied zelfs een pionier in het onderwijsveld. Het is niet voor niks dat Npuls juist ons gevraagd heeft om dit onderzoek uit te voeren (Npuls is een samenwerkingsverband binnen het Nederlandse vervolgonderwijs met onder meer als doel de digitale transformatie goed vorm te geven en lerenden te laten leren zonder drempels, red.).”
Michele: “Avans wil AI effectief en verantwoord inzetten. We zijn daarom bezig om het proces rond AI-innovaties opnieuw in te richten, juist om dit soort stroperige processen te voorkomen. Alle functionaliteiten die we krijgen aangeboden, bekijken we voortaan vanuit verschillende perspectieven: ethisch, technisch, juridisch én het perspectief van de gebruiker natuurlijk. Zo oordelen we afgewogen of we iets in gebruik gaan nemen of niet. Voor product owners brengt dit een uitdaging met zich mee: zij krijgen vaak als eerste te maken met nieuwe ontwikkelingen. Voor hen is het dus belangrijk om een AI-tool te herkennen. Dat kan best lastig zijn als je honderden tools onder beheer hebt. Goede training op dit gebied is dus belangrijk.”
Hoe kunnen onderwijsprofessionals straks concreet aan de slag met de Handreiking?
Esther: “Het document helpt om de regie te pakken over het gebruik van nieuwe functionaliteiten. Ook biedt het ondersteuning bij het concreet uitwerken van het Collaborative Trust Framework, waarin je als onderwijsinstelling met leveranciers afspreekt hoe je met elkaar samenwerkt. Wie is verantwoordelijk voor innovatie? Hoe krijgt het recht om updates te weigeren in de praktijk vorm? Hoe stem je zaken met elkaar af en hoe blijf je in gesprek?”
“Met dit framework hoef je dit soort zaken niet bij elke update opnieuw na te gaan. Samenwerken op basis van het framework biedt leveranciers de mogelijkheid om hun product beter aan te laten sluiten bij de wensen van afnemers. De handreiking helpt verder met het samen bepalen van de benodigde rollen in het proces en de taken en verantwoordelijkheden binnen die rollen. We hebben de handreiking daarom opgesteld voor alle geledingen binnen een organisatie: van functioneel beheerders tot onderwijskundigen en van juristen tot bestuurders.”
Dus de Handreiking moet ook bij bestuurders op het bureau komen te liggen?
Esther: “Ik hoop dat dat gebeurt. Het zou mooi zijn als er in elke organisatie een soort beslisboom komt over AI-innovatie. Die kan duidelijk maken wáár in de organisatie de verantwoordelijkheid ligt voor ingebruikname van specifieke typen AI-functionaliteiten.”
Sluit dat aan bij de visie van Avans op AI?
Michele: “Zeker. Momenteel zijn we bezig met het opzetten van een Data & AI Governance Board waarbij we vraagstukken rond AI-innovatie bekijken vanuit de perspectieven die ik eerder noemde. Op basis van het advies en de risicobereidheid van de organisatie, zal de board besluiten kunnen nemen. Eigenlijk zijn we nu dus al aan het doen wat de Handreiking aangeeft.”
Wanneer is de handreiking definitief klaar zodat onderwijsprofessionals in Nederland er gebruik van kunnen maken?
Esther: “We verwerken de feedback vanuit de presentatie en reviews door verschillende betrokken van Avans en FeedbackFruits. De definitieve versie ziet naar verwachting in de week vóór de kerstvakantie het licht.”
Wat willen jullie over een jaar graag veranderd zien op het gebied van AI-innovatie in het onderwijs?
Michele: “Ik zou heel blij zijn als we als afnemer niet meer verrast worden door onze leveranciers. Dus dat we altijd de regie hebben over nieuwe AI-functionaliteiten en we dus niet achter de feiten aanlopen.”
Esther: “Dat we kunnen onderzoeken hoe AI studenten en docenten echt helpt, omdat we kunnen experimenteren met goed ontwikkelde AI-oplossingen. In een veilige omgeving, op een verantwoorde manier. Zodat we steeds beter weten welke bijdrage AI levert aan het belangrijkste doel van Avans: het opleiden van praktijkgerichte professionals op die klaar zijn voor de wereld van morgen.”