Hoe weet je dat Gem werkt? En wordt Gem er echt beter op? We meten het, met echte inwonersvragen.
We kijken niet naar één aspect, maar naar een samenhangend geheel: wat hoort wél in een antwoord thuis en wat níet? Op deze pagina vind je de metingen van onze antwoordkwaliteit.
Lees hoe we antwoordkwaliteit meten en welke kwaliteitscriteria we hanteren. Wil je hier dieper op ingaan voor jouw gemeente? Vraag een gesprek aan.
Dit zijn de zeven criteria die we op dit moment automatisch scoren.
Rapport antwoordkwaliteit
· volledige-meting · model+script · Utrecht
Deze ronde meet de gebruikelijke drie varianten met 286 vragen. Enkele criteria zijn gecorrigeerd naar aanleiding van een steekproefsgewijze beoordeling door een inhoudsdeskundige. Bronvermelding telt niet meer mee voor niet-inhoudelijke antwoorden zoals doorvragen en beleefd weigeren. Gem heeft een nieuwe release gehad. Omdat er twee dingen tegelijk veranderden, zijn de cijfers niet 1 op 1 te vergelijken met week 40.
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 8,9 | 6,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6,2 | 8,8 | 8,9 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 7,3 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,4 | 9,1 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,5 | 8,5 | 7,4 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 9 | 7 |
| Gewogen totaal | 8,26 | 9,02 | 8,36 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Gem 1.0 · totaal 8,26
Gem 2.0 hybride · totaal 9,02
Puur generatief · totaal 8,36
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 2,001 | 1,834 | 1,299 |
| Weinig gevraagd 39,16% | 2,43 | 3,442 | 3,474 |
| Blokkeren 3,5% | 0,255 | 0,35 | 0,35 |
| Doorvragen 31,12% | 3,038 | 2,912 | 2,826 |
| Verwijzen 4,2% | 0,397 | 0,358 | 0,312 |
| Gevoelig 1,4% | 0,14 | 0,126 | 0,097 |
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid - Is te zien waar het antwoord op gebaseerd is? | 15 | – | 8,0 | 7,4 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 10,0 | 9,7 | 9,7 |
| Toon - Past de toon bij de gemeente? | 5 | 9,6 | 9,7 | 9,0 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,9 | 10,0 | 10,0 |
❌ Gem 1.0 (rapportcijfer 5,0, gelijk aan week 40) heeft hier geen antwoord op.
✔️ Gem 2.0 hybride (rapportcijfer 9,9, was 6,7): "In Utrecht zijn maximaal 20 coffeeshops toegestaan." Met uitleg over het coffeeshopbeleid en de link naar de pagina 'Softdrugs en coffeeshops'. ✔️ Bronvermelding aanwezig.
✔️ Puur generatief (rapportcijfer 9,9, was 6,7) geeft hetzelfde antwoord, met dezelfde bron. ✔️ Bronvermelding aanwezig.
Vorige week was dit het voorbeeld van een juist antwoord zonder bron. De bron staat er nu bij beide weer onder.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: maak zo snel mogelijk een afspraak. Is je afspraak vóór 14.00 uur, dan ligt je paspoort de volgende werkdag klaar.
✔️ Gem 2.0 hybride (rapportcijfer 10, was 5,0) geeft nu hetzelfde vaste antwoord. Vorige week vroeg hij eerst of het paspoort voor jezelf of voor een kind was.
❌ Puur generatief (rapportcijfer 5,0, gelijk aan week 40) legt de spoedaanvraag uit, met de extra kosten en het telefoonnummer, maar zegt niet wanneer het paspoort klaar is en dat je het zelf moet ophalen.
De wedervraag van vorige week is hier weg. Maar hetzelfde gebeurt nu bij andere vragen, zie volgende voorbeeld.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: heb je je oude rijbewijs nog, verleng het dan online via de RDW; twee werkdagen later is het klaar.
❌ Gem 2.0 hybride (rapportcijfer 4,5, was 10) vraagt eerst: "Heb je op dit moment al een rijbewijs, of is dit de eerste keer dat je een rijbewijs aanvraagt?" Vorige week gaf hij het vaste antwoord.
❌ Puur generatief (rapportcijfer 4,5, was 5,0) stelt een vergelijkbare wedervraag.
Of Gem 2.0 hybride een antwoord geeft of een wedervraag stelt, wisselt per ronde. Bij 21 vragen kwam nu een wedervraag waar vorige week een antwoord stond, bij 22 andere vragen andersom. Het aantal wedervragen bleef gelijk; de vragen waarbij het gebeurt niet.
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid | – | 8,0 | 7,4 |
| Veiligheid | 8,9 | 10,0 | 10,0 |
| Gemiddelde | 8,0 | 8,8 | 8,2 |
| Gewogen | 7,5 | 8,7 | 7,8 |
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica | 10,0 | 9,7 | 9,7 |
| Toon | 9,6 | 9,7 | 9,0 |
| Gemiddelde | 9,7 | 9,6 | 9,3 |
| Gewogen | 9,7 | 9,5 | 9,2 |
Elke meting staat op zijn eigen pagina en blijft daar staan. Vergelijk alleen metingen die dezelfde systemen naast elkaar leggen.
volledige-meting
Totaal Gem 1.0 8,3 Gem 2.0 hybride 9,0 Puur generatief 8,4
herbeoordeling
Totaal Gem 1.0 8,2 Gem 2.0 hybride 8,8 Puur generatief 8,1
volledige-meting
Totaal Gem 1.0 8,2 Gem 2.0 hybride 9,0 Puur generatief 8,3
volledige-meting
Totaal Gem 1.0 7,1 Gem 2.0 hybride 8,7 Puur generatief 8,6
volledige-meting
Totaal Gem 1.0 5,8 Gem 2.0 hybride 8,5 Puur generatief 7,7
volledige-meting
Totaal Gem 2.0 hybride 9,5
Examen 30 augustus 2026
Totaal Gem 1.0 6,6 Gem 2.0 hybride 8,9 Puur generatief 8,1
Rooktest met menselijke beoordeling
Totaal Gem 1.0 88,4% Gem 2.0 hybride 86,2% Gem 2.0 puur generatief 85,9%
Rooktest · onvolledig uitgevoerd
Totaal Gem 1.0 72,3% Gem 2.0 hybride 73,3% Gem 2.0 puur generatief 80,6%
Rooktest · eerste, kleinschalige meting
Totaal Gem 1.0 82,8% Gem 2.0 hybride 89,6% Gem 2.0 puur generatief 83,3%
Pilot · deelverzameling van vragen
Totaal Gem 1.0 0,872 Gem 2.0 0,888
Antwoordkwaliteit is geen technisch detail, maar een kwestie van betrouwbaarheid en reputatie. Eén slecht antwoord ondermijnt het vertrouwen van een inwoner in je hele digitale dienstverlening.
Daarom staat bij Gem degelijkheid voorop: liever een eerlijk “dit zoek ik even voor je uit” met een medewerker erbij, dan een vlot antwoord dat niet klopt. Je krijgt geen chatbot die “wel iets zegt”, maar een assistent waarvan de antwoordkwaliteit gedefinieerd, gemeten en navolgbaar is.
Om ook de lastige, nog niet herkende vragen beter te beantwoorden, werken we aan de inzet van generatieve AI. Dat blijft een zorgvuldige afweging: we zetten het alleen in als het de antwoorden aantoonbaar verbetert.
Daarom testen we meerdere taalmodellen naast elkaar — waaronder GPT-NL, het Nederlandse taalmodel voor de publieke sector — en vergelijken we de kwaliteitsverschillen met praktijkgerichte examens: een set vooraf geselecteerde vragen met bijbehorende goede antwoorden. Wie mag straks antwoorden geven aan inwoners? Dat bepalen we niet op gevoel, maar op resultaat.
De criteria controleren deden we lange tijd vooral handmatig, aangevuld met meldingen van inwoners en kritische onderzoekers. Waardevol, maar tijdrovend. Daarom automatiseren we steeds meer controles met een testsysteem dat antwoorden analyseert en beoordeelt aan de hand van diezelfde examens. Zo maken we kwaliteit meetbaar, schaalbaar én consistent — zonder de menselijke blik los te laten.
De uitkomsten van die examens publiceren we periodiek.