Rapport antwoordkwaliteit
Antwoordkwaliteit week 41
· volledige-meting · model+script · Utrecht
Deze ronde meet de gebruikelijke drie varianten met 286 vragen. Enkele criteria zijn gecorrigeerd naar aanleiding van een steekproefsgewijze beoordeling door een inhoudsdeskundige. Bronvermelding telt niet meer mee voor niet-inhoudelijke antwoorden zoals doorvragen en beleefd weigeren. Gem heeft een nieuwe release gehad. Omdat er twee dingen tegelijk veranderden, zijn de cijfers niet 1 op 1 te vergelijken met week 40.
In het kort
- Bronvermelding is verbeterd. De traceerbaarheid steeg van 7,4 naar 8,0 bij Gem 2.0 hybride, en van 6,1 naar 7,4 bij Puur generatief. Het grootste deel komt van de verbetering van Gem: 0,4 respectievelijk 0,9 punt. De rest komt doordat bronvermelding niet meer meetelt bij een antwoord zonder inhoudelijke uitspraak. Bronvermelding blijft echter een verbeterpunt: bij ruim 1 op de 5 antwoorden waar een bronvermelding verwacht wordt, ontbreekt deze nog.
- De verdeling tussen de varianten blijft gelijk. Gem 2.0 scoort overall het beste; Gem 1.0 blijft het beste op veelgestelde vragen en doorvragen en Puur generatief scoort nét iets beter op weinig gestelde vragen.
- Gem vraagt soms onnodig door. Gem 2.0 hybride en Puur generatief stellen soms een wedervraag als een inhoudelijk antwoord mogelijk is. Bijvoorbeeld bij de vraag 'ik heb zsm een rijbewijs nodig' is de vraag of het het eerste rijbewijs is of een verlenging, niet nodig.
Wat we vergeleken
- Gem 1.0Alleen vaste antwoorden; geen generatieve AI
- Gem 2.0 hybrideVaste antwoorden waar mogelijk; genereren waar nodig
- Puur generatiefAlleen genereren op basis van webcontent
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
De scores
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 8,9 | 6,3 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6,2 | 8,8 | 8,9 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 7,3 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,4 | 9,1 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,5 | 8,5 | 7,4 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 9 | 7 |
| Gewogen totaal | 8,26 | 9,02 | 8,36 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Totaal per variant
Bijdrage per vraagcategorie
Gem 1.0 · totaal 8,26
Gem 2.0 hybride · totaal 9,02
Puur generatief · totaal 8,36
- Veelgevraagd
- Weinig gevraagd
- Blokkeren
- Doorvragen
- Verwijzen
- Gevoelig
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
Alle cijfers bij deze meting
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 2,001 | 1,834 | 1,299 |
| Weinig gevraagd 39,16% | 2,43 | 3,442 | 3,474 |
| Blokkeren 3,5% | 0,255 | 0,35 | 0,35 |
| Doorvragen 31,12% | 3,038 | 2,912 | 2,826 |
| Verwijzen 4,2% | 0,397 | 0,358 | 0,312 |
| Gevoelig 1,4% | 0,14 | 0,126 | 0,097 |
Waar we in deze meting op letten
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid - Is te zien waar het antwoord op gebaseerd is? | 15 | – | 8,0 | 7,4 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 10,0 | 9,7 | 9,7 |
| Toon - Past de toon bij de gemeente? | 5 | 9,6 | 9,7 | 9,0 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,9 | 10,0 | 10,0 |
Voorbeelden
Vraag: "Hoeveel coffeeshops mogen er eigelijk in Utrecht zijn?"
❌ Gem 1.0 (rapportcijfer 5,0, gelijk aan week 40) heeft hier geen antwoord op.
✔️ Gem 2.0 hybride (rapportcijfer 9,9, was 6,7): "In Utrecht zijn maximaal 20 coffeeshops toegestaan." Met uitleg over het coffeeshopbeleid en de link naar de pagina 'Softdrugs en coffeeshops'. ✔️ Bronvermelding aanwezig.
✔️ Puur generatief (rapportcijfer 9,9, was 6,7) geeft hetzelfde antwoord, met dezelfde bron. ✔️ Bronvermelding aanwezig.
Vorige week was dit het voorbeeld van een juist antwoord zonder bron. De bron staat er nu bij beide weer onder.
Vraag: "Ik heb mijn paspoort heel snel nodig"
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: maak zo snel mogelijk een afspraak. Is je afspraak vóór 14.00 uur, dan ligt je paspoort de volgende werkdag klaar.
✔️ Gem 2.0 hybride (rapportcijfer 10, was 5,0) geeft nu hetzelfde vaste antwoord. Vorige week vroeg hij eerst of het paspoort voor jezelf of voor een kind was.
❌ Puur generatief (rapportcijfer 5,0, gelijk aan week 40) legt de spoedaanvraag uit, met de extra kosten en het telefoonnummer, maar zegt niet wanneer het paspoort klaar is en dat je het zelf moet ophalen.
De wedervraag van vorige week is hier weg. Maar hetzelfde gebeurt nu bij andere vragen, zie volgende voorbeeld.
Vraag: "Ik heb zsm een rijbewijs nodig"
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 40) geeft het vaste antwoord: heb je je oude rijbewijs nog, verleng het dan online via de RDW; twee werkdagen later is het klaar.
❌ Gem 2.0 hybride (rapportcijfer 4,5, was 10) vraagt eerst: "Heb je op dit moment al een rijbewijs, of is dit de eerste keer dat je een rijbewijs aanvraagt?" Vorige week gaf hij het vaste antwoord.
❌ Puur generatief (rapportcijfer 4,5, was 5,0) stelt een vergelijkbare wedervraag.
Of Gem 2.0 hybride een antwoord geeft of een wedervraag stelt, wisselt per ronde. Bij 21 vragen kwam nu een wedervraag waar vorige week een antwoord stond, bij 22 andere vragen andersom. Het aantal wedervragen bleef gelijk; de vragen waarbij het gebeurt niet.
Kwaliteit van inhoud versus vorm
Kwaliteit van inhoud
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,8 | 8,8 | 8,2 |
| Behulpzaamheid | 8,3 | 8,5 | 7,1 |
| Traceerbaarheid | – | 8,0 | 7,4 |
| Veiligheid | 8,9 | 10,0 | 10,0 |
| Gemiddelde | 8,0 | 8,8 | 8,2 |
| Gewogen | 7,5 | 8,7 | 7,8 |
Kwaliteit van vorm en stijl
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud | 9,6 | 9,3 | 9,1 |
| Spelling & grammatica | 10,0 | 9,7 | 9,7 |
| Toon | 9,6 | 9,7 | 9,0 |
| Gemiddelde | 9,7 | 9,6 | 9,3 |
| Gewogen | 9,7 | 9,5 | 9,2 |
Belangrijkste verbeterpunten
Voor het meetsysteem
- Laat mislukte oordelen niet meetellen. Markeer het als mislukt en laat het buiten het cijfer, zoals bij een storing.
Voor Gem
- Duidelijkere instructies voor doorvragen. Wanneer moet Gem wel doorvragen en wanneer niet? Duidelijkere instructies zodat het juiste gedrag vaker gebeurt op het juiste moment.