Grip op antwoordkwaliteit
Hoe borg je dat een inwoner altijd een antwoord krijgt dat niet alleen correct is maar ook compact en praktisch bruikbaar?
Dagelijks beantwoorden gemeenten vragen met Gem. Klantcontact- en webteams volgen dit en verbeteren waar nodig de logica en antwoorden. Met extra aandacht voor de meest gestelde vragen.
Na 6 jaar is er veel ervaring opgebouwd. De database telt inmiddels bijna 4.000 vragen en antwoorden. Herkende vragen krijgen betrouwbaar het juiste antwoord. Voor niet-herkende of nieuwe vragen staat snel een medewerker klaar. Zo blijft de service op niveau.
Inzet van generatieve AI — AI doet examen — Degelijkheid staat voorop
Er is ook kritiek op chatbots, als er vragen komen waar de chatbot geen goed antwoord op weet. We werken daarom aan inzet van generatieve AI in Gem om dat te verbeteren. Die inzet blijft wel een zorgvuldige afweging: We gebruiken het alleen als het de antwoorden aantoonbaar verbetert. We testen meerdere alternatieven naast elkaar, waaronder GPT-NL, en vergelijken de kwaliteitsverschillen. Dat doen we met behulp van praktijkgerichte ‘examens’, met vooraf geselecteerde vragen en bijbehorende goede antwoorden. En dan kijken we welk model het hoogste cijfer heeft!
Wie mag straks antwoorden geven aan inwoners?
Verschillende taalmodellen doen daarvoor bij Gem een ‘examen’. Net als wij ooit op school deden!