Hoe witsto dat Gem wurket? En wurdt Gem der echt better op? Wy mjitte it, mei echte ynwennersfragen.
Wy sjogge net nei ien aspekt, mar nei in gearhingjend gehiel — nei wat der wèl yn in antwurd stean moat, én nei wat der krekt net yn thúshearret. Op dizze side sammelje wy de mjittingen fan ús antwurdkwaliteit. Elke mjitting fergeliket systemen op in fêste set kritearia. Op de side kwaliteitskritearia geane wy djipper yn op de aparte kritearia.
Dit binne de sân kritearia dy't wy op dit stuit automatysk skoare.
Rapport antwoordkwaliteit
· volledige-meting · model+script · Utrecht
Deze ronde meet de gebruikelijke drie varianten met 286 vragen. Enkele criteria zijn gecorrigeerd naar aanleiding van een steekproefsgewijze beoordeling door een inhoudsdeskundige. Bronvermelding telt niet meer mee voor niet-inhoudelijke antwoorden zoals doorvragen en beleefd weigeren. Gem heeft een nieuwe release gehad. Omdat er twee dingen tegelijk veranderden, zijn de cijfers niet 1 op 1 te vergelijken met week 40.
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 8,9 | 6,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6,2 | 8,8 | 8,9 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 7,3 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,4 | 9,1 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,5 | 8,5 | 7,4 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 9 | 7 |
| Gewogen totaal | 8,26 | 9,02 | 8,36 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Gem 1.0 · totaal 8,26
Gem 2.0 hybride · totaal 9,02
Puur generatief · totaal 8,36
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 2,001 | 1,834 | 1,299 |
| Weinig gevraagd 39,16% | 2,43 | 3,442 | 3,474 |
| Blokkeren 3,5% | 0,255 | 0,35 | 0,35 |
| Doorvragen 31,12% | 3,038 | 2,912 | 2,826 |
| Verwijzen 4,2% | 0,397 | 0,358 | 0,312 |
| Gevoelig 1,4% | 0,14 | 0,126 | 0,097 |
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid - Is te zien waar het antwoord op gebaseerd is? | 15 | – | 8,0 | 7,4 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 10,0 | 9,7 | 9,7 |
| Toon - Past de toon bij de gemeente? | 5 | 9,6 | 9,7 | 9,0 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,9 | 10,0 | 10,0 |
❌ Gem 1.0 (rapportcijfer 5,0, gelijk aan week 40) heeft hier geen antwoord op.
✔️ Gem 2.0 hybride (rapportcijfer 9,9, was 6,7): "In Utrecht zijn maximaal 20 coffeeshops toegestaan." Met uitleg over het coffeeshopbeleid en de link naar de pagina 'Softdrugs en coffeeshops'. ✔️ Bronvermelding aanwezig.
✔️ Puur generatief (rapportcijfer 9,9, was 6,7) geeft hetzelfde antwoord, met dezelfde bron. ✔️ Bronvermelding aanwezig.
Vorige week was dit het voorbeeld van een juist antwoord zonder bron. De bron staat er nu bij beide weer onder.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: maak zo snel mogelijk een afspraak. Is je afspraak vóór 14.00 uur, dan ligt je paspoort de volgende werkdag klaar.
✔️ Gem 2.0 hybride (rapportcijfer 10, was 5,0) geeft nu hetzelfde vaste antwoord. Vorige week vroeg hij eerst of het paspoort voor jezelf of voor een kind was.
❌ Puur generatief (rapportcijfer 5,0, gelijk aan week 40) legt de spoedaanvraag uit, met de extra kosten en het telefoonnummer, maar zegt niet wanneer het paspoort klaar is en dat je het zelf moet ophalen.
De wedervraag van vorige week is hier weg. Maar hetzelfde gebeurt nu bij andere vragen, zie volgende voorbeeld.
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: heb je je oude rijbewijs nog, verleng het dan online via de RDW; twee werkdagen later is het klaar.
❌ Gem 2.0 hybride (rapportcijfer 4,5, was 10) vraagt eerst: "Heb je op dit moment al een rijbewijs, of is dit de eerste keer dat je een rijbewijs aanvraagt?" Vorige week gaf hij het vaste antwoord.
❌ Puur generatief (rapportcijfer 4,5, was 5,0) stelt een vergelijkbare wedervraag.
Of Gem 2.0 hybride een antwoord geeft of een wedervraag stelt, wisselt per ronde. Bij 21 vragen kwam nu een wedervraag waar vorige week een antwoord stond, bij 22 andere vragen andersom. Het aantal wedervragen bleef gelijk; de vragen waarbij het gebeurt niet.
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid | – | 8,0 | 7,4 |
| Veiligheid | 8,9 | 10,0 | 10,0 |
| Gemiddelde | 8,0 | 8,8 | 8,2 |
| Gewogen | 7,5 | 8,7 | 7,8 |
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica | 10,0 | 9,7 | 9,7 |
| Toon | 9,6 | 9,7 | 9,0 |
| Gemiddelde | 9,7 | 9,6 | 9,3 |
| Gewogen | 9,7 | 9,5 | 9,2 |
Elke mjitting stiet op syn eigen side en bliuwt dêr stean. Fergelykje allinne mjittingen dy't deselde systemen neistinoar lizze.
volledige-meting
Totaal Gem 1.0 8,3 Gem 2.0 hybride 9,0 Puur generatief 8,4
herbeoordeling
Totaal Gem 1.0 8,2 Gem 2.0 hybride 8,8 Puur generatief 8,1
volledige-meting
Totaal Gem 1.0 8,2 Gem 2.0 hybride 9,0 Puur generatief 8,3
volledige-meting
Totaal Gem 1.0 7,1 Gem 2.0 hybride 8,7 Puur generatief 8,6
volledige-meting
Totaal Gem 1.0 5,8 Gem 2.0 hybride 8,5 Puur generatief 7,7
volledige-meting
Totaal Gem 2.0 hybride 9,5
Examen 30 augustus 2026
Totaal Gem 1.0 6,6 Gem 2.0 hybride 8,9 Puur generatief 8,1
Rooktest met menselijke beoordeling
Totaal Gem 1.0 88,4% Gem 2.0 hybride 86,2% Gem 2.0 puur generatief 85,9%
Rooktest · onvolledig uitgevoerd
Totaal Gem 1.0 72,3% Gem 2.0 hybride 73,3% Gem 2.0 puur generatief 80,6%
Rooktest · eerste, kleinschalige meting
Totaal Gem 1.0 82,8% Gem 2.0 hybride 89,6% Gem 2.0 puur generatief 83,3%
Pilot · deelverzameling van vragen
Totaal Gem 1.0 0,872 Gem 2.0 0,888
Antwurdkwaliteit is gjin technysk detail, mar in kwestje fan betrouberens en reputaasje. Ien min antwurd ûndermynt it fertrouwen fan in ynwenner yn dyn hiele digitale tsjinstferliening.
Dêrom stiet by Gem deeglikheid foarop: leaver in earlik “dit siikje ik even foar dy út” mei in meiwurker derby, as in flot antwurd dat net kloppet. Do krijst gjin chatbot dy't “wol wat seit”, mar in assistint wêrfan de antwurdkwaliteit definiearre, mjitten en neifolchber is.
Om ek de dreege, noch net werkende fragen better te beäntwurdzjen, wurkje wy oan de ynset fan generative AI. Dat bliuwt in soarchfâldige ôfwaging: wy sette it allinne yn as it de antwurden oantoanber ferbetteret.
Dêrom teste wy meardere taalmodellen neistinoar — wêrûnder GPT-NL, it Nederlânske taalmodel foar de publike sektor — en fergelykje wy de kwaliteitsferskillen mei praktykrjochte eksamens: in set foarôf selektearre fragen mei bybehearrende goede antwurden. Wa mei aanst antwurden jaan oan ynwenners? Dat bepale wy net op gefoel, mar op resultaat.
De kritearia kontrolearje diene wy lange tiid benammen mei de hân, oanfolle mei meldingen fan ynwenners en krityske ûndersikers. Weardefol, mar tiidrôvjend. Dêrom automatisearje wy hieltyd mear kontrôles mei in testsysteem dat antwurden analysearret en beoardielet oan de hân fan deselde eksamens. Sa meitsje wy kwaliteit mjitber, skaalber én konsistint — sûnder de minsklike blik los te litten.
De útkomsten fan dy eksamens publisearje wy periodyk.
Wolst witte hoe't wy elk kritearium definiearje en mjitte? Lês de kritearia en hoe't wy se mjitte.
Wolsto hjir djipper op yngean foar dyn gemeente? Freegje in petear oan.