How do you know Gem works? And is Gem actually getting better? We measure it, using real residents' questions.
We do not look at a single aspect but at a coherent whole — at what an answer must contain, and equally at what does not belong in it. On this page we collect the measurements of our answer quality. Each measurement compares systems against a fixed set of criteria. On the quality criteria page we look at each criterion in more detail.
These are the seven criteria we currently score automatically.
Rapport antwoordkwaliteit
· volledige-meting · model+script · Utrecht
Deze ronde meet de gebruikelijke drie varianten met 286 vragen. Enkele criteria zijn gecorrigeerd naar aanleiding van een steekproefsgewijze beoordeling door een inhoudsdeskundige. Bronvermelding telt niet meer mee voor niet-inhoudelijke antwoorden zoals doorvragen en beleefd weigeren. Gem heeft een nieuwe release gehad. Omdat er twee dingen tegelijk veranderden, zijn de cijfers niet 1 op 1 te vergelijken met week 40.
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 8,9 | 6,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6,2 | 8,8 | 8,9 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 7,3 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,4 | 9,1 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,5 | 8,5 | 7,4 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 9 | 7 |
| Gewogen totaal | 8,26 | 9,02 | 8,36 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Gem 1.0 · totaal 8,26
Gem 2.0 hybride · totaal 9,02
Puur generatief · totaal 8,36
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 2,001 | 1,834 | 1,299 |
| Weinig gevraagd 39,16% | 2,43 | 3,442 | 3,474 |
| Blokkeren 3,5% | 0,255 | 0,35 | 0,35 |
| Doorvragen 31,12% | 3,038 | 2,912 | 2,826 |
| Verwijzen 4,2% | 0,397 | 0,358 | 0,312 |
| Gevoelig 1,4% | 0,14 | 0,126 | 0,097 |
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid - Is te zien waar het antwoord op gebaseerd is? | 15 | – | 8,0 | 7,4 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 10,0 | 9,7 | 9,7 |
| Toon - Past de toon bij de gemeente? | 5 | 9,6 | 9,7 | 9,0 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,9 | 10,0 | 10,0 |
❌ Gem 1.0 (rapportcijfer 5,0, gelijk aan week 40) heeft hier geen antwoord op.
✔️ Gem 2.0 hybride (rapportcijfer 9,9, was 6,7): "In Utrecht zijn maximaal 20 coffeeshops toegestaan." Met uitleg over het coffeeshopbeleid en de link naar de pagina 'Softdrugs en coffeeshops'. ✔️ Bronvermelding aanwezig.
✔️ Puur generatief (rapportcijfer 9,9, was 6,7) geeft hetzelfde antwoord, met dezelfde bron. ✔️ Bronvermelding aanwezig.
Vorige week was dit het voorbeeld van een juist antwoord zonder bron. De bron staat er nu bij beide weer onder.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: maak zo snel mogelijk een afspraak. Is je afspraak vóór 14.00 uur, dan ligt je paspoort de volgende werkdag klaar.
✔️ Gem 2.0 hybride (rapportcijfer 10, was 5,0) geeft nu hetzelfde vaste antwoord. Vorige week vroeg hij eerst of het paspoort voor jezelf of voor een kind was.
❌ Puur generatief (rapportcijfer 5,0, gelijk aan week 40) legt de spoedaanvraag uit, met de extra kosten en het telefoonnummer, maar zegt niet wanneer het paspoort klaar is en dat je het zelf moet ophalen.
De wedervraag van vorige week is hier weg. Maar hetzelfde gebeurt nu bij andere vragen, zie volgende voorbeeld.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: heb je je oude rijbewijs nog, verleng het dan online via de RDW; twee werkdagen later is het klaar.
❌ Gem 2.0 hybride (rapportcijfer 4,5, was 10) vraagt eerst: "Heb je op dit moment al een rijbewijs, of is dit de eerste keer dat je een rijbewijs aanvraagt?" Vorige week gaf hij het vaste antwoord.
❌ Puur generatief (rapportcijfer 4,5, was 5,0) stelt een vergelijkbare wedervraag.
Of Gem 2.0 hybride een antwoord geeft of een wedervraag stelt, wisselt per ronde. Bij 21 vragen kwam nu een wedervraag waar vorige week een antwoord stond, bij 22 andere vragen andersom. Het aantal wedervragen bleef gelijk; de vragen waarbij het gebeurt niet.
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid | – | 8,0 | 7,4 |
| Veiligheid | 8,9 | 10,0 | 10,0 |
| Gemiddelde | 8,0 | 8,8 | 8,2 |
| Gewogen | 7,5 | 8,7 | 7,8 |
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica | 10,0 | 9,7 | 9,7 |
| Toon | 9,6 | 9,7 | 9,0 |
| Gemiddelde | 9,7 | 9,6 | 9,3 |
| Gewogen | 9,7 | 9,5 | 9,2 |
Each measurement has its own page and stays there. Only compare measurements that place the same systems side by side.
volledige-meting
Total Gem 1.0 8.3 Gem 2.0 hybride 9.0 Puur generatief 8.4
herbeoordeling
Total Gem 1.0 8.2 Gem 2.0 hybride 8.8 Puur generatief 8.1
volledige-meting
Total Gem 1.0 8.2 Gem 2.0 hybride 9.0 Puur generatief 8.3
volledige-meting
Total Gem 1.0 7.1 Gem 2.0 hybride 8.7 Puur generatief 8.6
volledige-meting
Total Gem 1.0 5.8 Gem 2.0 hybride 8.5 Puur generatief 7.7
volledige-meting
Total Gem 2.0 hybride 9.5
Examen 30 augustus 2026
Total Gem 1.0 6.6 Gem 2.0 hybride 8.9 Puur generatief 8.1
Rooktest met menselijke beoordeling
Total Gem 1.0 88.4% Gem 2.0 hybride 86.2% Gem 2.0 puur generatief 85.9%
Rooktest · onvolledig uitgevoerd
Total Gem 1.0 72.3% Gem 2.0 hybride 73.3% Gem 2.0 puur generatief 80.6%
Rooktest · eerste, kleinschalige meting
Total Gem 1.0 82.8% Gem 2.0 hybride 89.6% Gem 2.0 puur generatief 83.3%
Pilot · deelverzameling van vragen
Total Gem 1.0 0.872 Gem 2.0 0.888
Answer quality is not a technical detail but a matter of reliability and reputation. A single bad answer undermines a resident's trust in your entire digital service.
That is why soundness comes first at Gem: better an honest “let me look that up for you” with a staff member involved than a slick answer that is wrong. You do not get a chatbot that “says something”, but an assistant whose answer quality is defined, measured and traceable.
To answer the difficult, not-yet-recognised questions better as well, we are working on deploying generative AI. That remains a careful judgement: we only use it where it demonstrably improves the answers.
So we test several language models side by side — including GPT-NL, the Dutch language model for the public sector — and compare the quality differences using practical exams: a set of pre-selected questions with matching good answers. Who gets to answer residents in future? We decide that on results, not on gut feeling.
For a long time we checked the criteria largely by hand, supplemented by reports from residents and critical researchers. Valuable, but time-consuming. So we are automating more and more checks with a test system that analyses and scores answers against those same exams. That makes quality measurable, scalable and consistent — without letting go of the human eye.
We publish the outcomes of those exams periodically.
Want to know how we define and measure each criterion? Read the criteria and how we measure them.
Want to explore this further for your municipality? Request a conversation.