Hoe weet je dat Gem werkt? En wordt Gem er echt beter op? We meten het, met echte inwonersvragen.
We kijken niet naar één aspect, maar naar een samenhangend geheel — naar wat er wél in een antwoord moet staan, én naar wat er juist níet in thuishoort. Op deze pagina verzamelen we de metingen van onze antwoordkwaliteit. Elke meting vergelijkt systemen op een vaste set criteria.
Dit zijn de vijf criteria die we op dit moment automatisch scoren. Andere eisen aan een goed antwoord — zoals bronvermelding en veiligheid — beoordelen we nog niet machinaal.
Rapport antwoordkwaliteit
Rooktest · onvolledig uitgevoerd
Hoe scoren de drie varianten op de vijf algemene kwaliteitscriteria die voor elk antwoord gelden, ongeacht welke vraag er gesteld is? Dezelfde vragen gingen langs Gem 1.0 en langs twee varianten van Gem 2.0.
| Criterium | Gem 1.0 | Gem 2.0 hybride | Gem 2.0 puur generatief |
|---|---|---|---|
| Juistheid | |||
| Behulpzaamheid | |||
| Eenvoud | |||
| Spelling & grammatica | |||
| Toon | |||
| Gewogen totaal | 72,3% | 73,3% | 80,6% |
Vijf criteria die voor elk antwoord gelden, los van de inhoud van de vraag.
Op alle drie de varianten is Juistheid het sterkste punt (93–94%) en Toon het zwakste (55–70%): de antwoorden gebruiken niet consistent de gewenste jij-vorm en missen wat empathie. Behulpzaamheid verschilt het duidelijkst tussen de varianten. Gem 2.0 puur generatief scoort daar 78%, ruim boven Gem 1.0 (62%) en Gem 2.0 hybride (54%, al is dat cijfer op een kleinere steekproef gebaseerd).
Gem 2.0 puur generatief heeft over de volledige set de hoogste gewogen totaalscore (80,6 van de 100). Gem 2.0 hybride staat er op de 23 wél gescoorde vragen beter voor dan Gem 1.0, maar dat is nog geen uitspraak over de volledige set van 51.
Deze opstarttest is onvolledig uitgevoerd vanwege beperkingen in het evaluatiesysteem. De cijfers zijn daarmee onder voorbehoud.
Gem 2.0 hybride is op 23 van de 51 vragen gescoord. De overige 28 vragen (meerinfo, sensitive, simple, tussenvragen, verwijzen, en één vraag uit medewerker) zijn voor die variant nog niet beoordeeld.
De testaanpak moet zich ontwikkelen van deze opstarttest naar een vollediger verzameling testgevallen die een representatief beeld geeft van de antwoordkwaliteit. Daarvoor werken we aan meer testcapaciteit voor grotere testsets, een groter examen met criteria die specifiek zijn voor een testgeval, het nalopen van de toon tegen de gewenste toon, en het versimpelen van de antwoorden. Er zijn nu regelmatig lange antwoorden met meerdere bijzinnen.
Elke meting staat op zijn eigen pagina en blijft daar staan. Vergelijk alleen metingen die dezelfde systemen naast elkaar leggen.
Rooktest · onvolledig uitgevoerd
Gewogen totaal Gem 1.0 72,3% Gem 2.0 hybride 73,3% Gem 2.0 puur generatief 80,6%
Rooktest · eerste, kleinschalige meting
Gewogen totaal Gem 1.0 82,8% Gem 2.0 hybride 89,6% Gem 2.0 puur generatief 83,3%
Pilot · deelverzameling van vragen
Gewogen totaal Gem 1.0 0,872 Gem 2.0 0,888
Antwoordkwaliteit is geen technisch detail, maar een kwestie van betrouwbaarheid en reputatie. Eén slecht antwoord ondermijnt het vertrouwen van een inwoner in je hele digitale dienstverlening.
Daarom staat bij Gem degelijkheid voorop: liever een eerlijk “dit zoek ik even voor je uit” met een medewerker erbij, dan een vlot antwoord dat niet klopt. Je krijgt geen chatbot die “wel iets zegt”, maar een assistent waarvan de antwoordkwaliteit gedefinieerd, gemeten en navolgbaar is.
Om ook de lastige, nog niet herkende vragen beter te beantwoorden, werken we aan de inzet van generatieve AI. Dat blijft een zorgvuldige afweging: we zetten het alleen in als het de antwoorden aantoonbaar verbetert.
Daarom testen we meerdere taalmodellen naast elkaar — waaronder GPT-NL, het Nederlandse taalmodel voor de publieke sector — en vergelijken we de kwaliteitsverschillen met praktijkgerichte examens: een set vooraf geselecteerde vragen met bijbehorende goede antwoorden. Wie mag straks antwoorden geven aan inwoners? Dat bepalen we niet op gevoel, maar op resultaat.
De criteria controleren deden we lange tijd vooral handmatig, aangevuld met meldingen van inwoners en kritische onderzoekers. Waardevol, maar tijdrovend. Daarom automatiseren we steeds meer controles met een testsysteem dat antwoorden analyseert en beoordeelt aan de hand van diezelfde examens. Zo maken we kwaliteit meetbaar, schaalbaar én consistent — zonder de menselijke blik los te laten.
De uitkomsten van die examens publiceren we periodiek.
Wil je hier dieper op ingaan voor jouw gemeente? Vraag een gesprek aan.