Wie houdt de kennis achter je AI actueel?

Inleiding

Dit artikel is met ondersteuning van AI opgesteld. BAETER is verantwoordelijk voor de publicatie.

Neem een fictieve groothandel in fietsonderdelen. De binnendienst gebruikt AI voor conceptantwoorden over levertijd en garantie. Een medewerker krijgt een overtuigende tekst terug, maar ziet een oude garantievoorwaarde. In het verkoopsysteem staat inmiddels iets anders. Voordat het antwoord naar de klant kan, begint het zoekwerk: welk document geldt, wie heeft het aangepast en voor welke bestelling?

De medewerker corrigeert het concept. Daarmee is deze vraag afgehandeld, maar de volgende collega kan morgen dezelfde oude informatie krijgen. Het probleem zit dan ook in het beheer van de kennis achter de assistent. Wie bepaalt welke versie leidend is en wie zorgt dat een wijziging daadwerkelijk bij de toepassing aankomt?

Geef een bron een eigenaar en een geldigheidsgebied

Een broneigenaar hoeft niet ieder antwoord na te lezen. Die persoon beheert de inhoudelijke afspraken: welke informatie geldt, voor welke producten of situaties, vanaf wanneer en wie wijzigingen mag goedkeuren. De proceseigenaar bepaalt vervolgens hoe medewerkers die informatie gebruiken. De medewerker blijft verantwoordelijk voor de afgesproken controle van het concrete concept.

Het vrijwillige NIST AI Risk Management Framework benoemt vastgelegde verantwoordelijkheden, communicatie en periodieke beoordeling. De bronafspraak hieronder is een eigen praktische invulling, geen voorgeschreven NIST-methode.

Bij de fictieve groothandel beheert commercie de garantievoorwaarden. Inkoop beheert de beschikbaarheidsinformatie. Dat kunnen dus twee eigenaren zijn, ook al verschijnen hun gegevens samen in één antwoord. Leg per vraag vast welke bron voor welk onderdeel leidend is. Een algemene mapnaam als 'definitief' zegt daarvoor te weinig.

Een leidende bron is overigens geen garantie dat alles erin klopt. Ook die bron kan een fout bevatten of een uitzondering missen. Eigenaarschap maakt vooral duidelijk wie een twijfelgeval kan oplossen en wie de bron daarna bijwerkt.

Maak vijf bronafspraken die iemand kan uitvoeren

Kies één veelgestelde vraag en vul deze vijf regels in. Houd het bij de bronnen die daarvoor werkelijk nodig zijn.

• Gebruik: Voor welke vraag en welk concept mag de informatie worden gebruikt?
• Leidende bron: Welk systeem, document en versienummer gelden voor ieder onderdeel?
• Eigenaar: Wie beoordeelt inhoudelijke wijzigingen en wie vervangt die persoon?
• Actualisering: Welke gebeurtenis vraagt een wijziging en hoe wordt gecontroleerd dat de toepassing de nieuwe versie gebruikt?
• Twijfelroute: Wat gebeurt er bij ontbrekende informatie, strijdige versies of een onduidelijke geldigheid?

Spreek ook af hoe een medewerker een fout terugmeldt. 'De AI klopt niet' helpt weinig. 'Dit concept noemt versie A, terwijl voor deze productgroep sinds maandag versie B geldt' geeft de eigenaar iets waarmee die verder kan. Bewaar daarvoor alleen de gegevens die nodig zijn om het probleem te begrijpen.

Een broninstructie regelt geen toegang

'Gebruik alleen deze bron' is een nuttige instructie, maar geen technische afscherming. Als een toepassing daarnaast een hele mailbox kan doorzoeken, maakt die zin de overige informatie niet ontoegankelijk. Laat de beheerder daarom controleren welke bestanden, systemen en gegevens de toepassing werkelijk kan raadplegen. Beoordeel ook waar de informatie terechtkomt en hoe lang zij wordt bewaard.

De Autoriteit Persoonsgegevens bespreekt in haar handreiking over generatieve AI en de AVG onder meer het beheer van data. Die privacycontext is relevant zodra persoonsgegevens meedoen. Een bronafspraak vervangt geen beoordeling van gegevensgebruik, beveiliging of leveranciersvoorwaarden. Begin bij voorkeur met informatie die al voor dit doel is goedgekeurd en voeg geen volledige klantdossiers toe omdat dat gemakkelijk lijkt.

Test juist de gevallen waarin een antwoord ontbreekt

Laat de eigenaar samen met een gebruiker een kleine eerste testset samenstellen. Neem naast gewone vragen ook een verlopen voorwaarde, twee strijdige versies en een vraag zonder antwoord in de aangewezen bron op. Tien voorbeelden kunnen een werkbaar begin zijn; ze bewijzen geen algemene betrouwbaarheid.

Beoordeel bij ieder concept drie dingen. Is de juiste bron en versie gebruikt? Is duidelijk welke informatie ontbreekt? En blijft een onbevestigde prijs, garantie of levertijd buiten de toezegging? Spreek af dat een medewerker zo'n ontbrekend gegeven opzoekt of navraagt voordat het antwoord verdergaat.

Onderzoekers van NIST ontwikkelen controles die feitelijke uitspraken van AI-agenten vergelijken met door mensen geselecteerde bronnen. Zij onderzoeken onder meer onderbouwing, volledigheid van de context en de vraag of het bewijs voldoende is voor een conclusie. Dat is onderzoek, geen bedrijfsstandaard. De bronproef hierboven is ons praktische voorstel, geen NIST-keurmerk of voorgeschreven test.

Controleer ook wat er na een wijziging gebeurt

Bij de groothandel is een aangepaste garantievoorwaarde een logisch controlemoment. De eigenaar publiceert de goedgekeurde versie. De beheerder controleert of de toepassing deze kan ophalen en of een oude kopie niet onbedoeld leidend blijft. Een medewerker beproeft enkele getroffen vragen opnieuw. Daarna wordt vastgelegd vanaf wanneer de nieuwe informatie geldt.

Meet tijdens de eerste weken hoeveel vragen opnieuw uitzoekwerk vragen en waarom. Een daling kan wijzen op een bruikbaardere werkwijze, maar kijk ook naar gemiste uitzonderingen en extra controlewerk. Soms blijkt de bron zelf onduidelijk. Soms kan de toepassing de juiste informatie niet vinden. Dat vraagt om verschillende oplossingen.

Welke terugkerende klantvraag leidt bij u tot zoeken of twijfel over de juiste informatie? Neem die vraag en de huidige bron mee naar een vrijblijvende AI-kansen sessie met BAETER. Dat geeft het gesprek een concreet begin: welke informatie moet op orde zijn voordat een assistent ermee helpt?