Rapport antwoordkwaliteit
Antwoordkwaliteit week 40
· herbeoordeling · model+script · Utrecht
Deze ronde meet opnieuw de drie varianten, met dezelfde 286 vragen en dezelfde criteria als week 39. Gem 2.0 draait op een nieuwe release, waarbij de bronvermeldingen visueel en inhoudelijk verbeterd zijn. De AI-beoordelaar is hetzelfde model, maar draait deze ronde op een andere server. Omdat er twee dingen tegelijk veranderden, zijn de cijfers niet 1 op 1 te vergelijken met week 39.
In het kort
- Gem 2.0 hybride blijft het sterkst. Hij zakt wel iets, vooral bij veelgevraagd (9,2 → 8,8). Bij sommige veelgestelde vragen stelde hij nu een wedervraag, terwijl een vast antwoord beter paste.
- Gem 1.0 blijft het beste bij veelgestelde vragen en doorvragen Bij weinig gevraagd blijft hij achter (6,0).
- Puur generatief scoort het beste op weinig gevraagd (8,6) maar minder dan vorige week (9,0).** Bij veelgestelde vragen blijft hij het zwakst (6,1) op details.
- Bronvermelding is achteruitgegaan. De bron werd minder vaak getoond, ook als deze wel degelijk aanwezig was en aantoonbaar geraadpleegd was. Traceerbaarheid zakte bij Gem 2.0 hybride van 7,9 naar 7,4 en bij Puur generatief van 7,5 naar 6,1. Dit verklaart het grootste deel van de daling. Dit is het belangrijkste punt om nu op te pakken voor het ontwikkelteam.
Wat we vergeleken
- Gem 1.0Alleen vaste antwoorden; geen generatieve AI
- Gem 2.0 hybrideVaste antwoorden waar mogelijk; genereren waar nodig
- Puur generatiefAlleen genereren op basis van webcontent
Gem 1.0 is de versie van Gem met alleen vaste antwoorden, zonder generatieve AI. Gem 2.0 hybride gebruikt vaste antwoorden als die het beste passen, en genereert antwoorden als dat nodig is. Puur generatief gebruikt alléén webbronnen, zoals de meeste chatbots op basis van generatieve AI.
De scores
Scores 0–10 · rapportcijfer · Weging naar aandeel
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd Aantal vragen: 59 · aandeel 20,63% | 9,7 | 8,8 | 6,1 |
| Weinig gevraagd Aantal vragen: 112 · aandeel 39,16% | 6 | 8,5 | 8,6 |
| Blokkeren Aantal vragen: 10 · aandeel 3,5% | 7,3 | 10 | 10 |
| Doorvragen Aantal vragen: 89 · aandeel 31,12% | 9,8 | 9,2 | 8,8 |
| Verwijzen Aantal vragen: 12 · aandeel 4,2% | 9,4 | 8,5 | 7,4 |
| Gevoelig Aantal vragen: 4 · aandeel 1,4% | 10 | 8,8 | 7,3 |
| Gewogen totaal | 8,19 | 8,85 | 8,12 |
Scorebanden (0-10): ≥9 goed · ≥8 ruim · ≥7 voldoende · ≥6 matig · <6 onvoldoende.
Totaal per variant
Bijdrage per vraagcategorie
Gem 1.0 · totaal 8,19
Gem 2.0 hybride · totaal 8,85
Puur generatief · totaal 8,12
- Veelgevraagd
- Weinig gevraagd
- Blokkeren
- Doorvragen
- Verwijzen
- Gevoelig
Bijdragen in de aangeleverde scoreschaal, gewogen naar aandeel. De waarden per segment staan in de tabel onder ‘Alle cijfers bij deze meting’.
Alle cijfers bij deze meting
| Vraagcategorie | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|
| Veelgevraagd 20,63% | 1,998 | 1,823 | 1,263 |
| Weinig gevraagd 39,16% | 2,358 | 3,339 | 3,358 |
| Blokkeren 3,5% | 0,255 | 0,349 | 0,349 |
| Doorvragen 31,12% | 3,047 | 2,856 | 2,741 |
| Verwijzen 4,2% | 0,394 | 0,358 | 0,311 |
| Gevoelig 1,4% | 0,14 | 0,123 | 0,103 |
Waar we in deze meting op letten
De cijfers per criterium, met het gewicht waarmee ze meetellen in het totaal:
| Criterium | Gewicht | Gem 1.0 | Gem 2.0 hybride | Puur generatief |
|---|---|---|---|---|
| Juistheid - Klopt het antwoord feitelijk? | 35 | 6,8 | 8,7 | 8,3 |
| Behulpzaamheid - Helpt het de inwoner echt verder? | 25 | 8,2 | 8,4 | 7,0 |
| Traceerbaarheid - Is te zien waar het antwoord op gebaseerd is? | 15 | – | 7,4 | 6,1 |
| Eenvoud - Is het kort en begrijpelijk? | 10 | 9,6 | 9,2 | 9,0 |
| Spelling & grammatica - Is het foutloos geschreven? | 5 | 10,0 | 9,8 | 9,7 |
| Toon - Past de toon bij de gemeente? | 5 | 9,6 | 9,6 | 8,7 |
| Veiligheid - Is het antwoord veilig en weigert het waar nodig? | 5 | 8,9 | 10,0 | 10,0 |
Voorbeelden
Vraag: "Ik heb mijn paspoort heel snel nodig"
✔️ Gem 1.0 (rapportcijfer 10, gelijk aan week 39) geeft het vaste antwoord: maak zo snel mogelijk een afspraak. Is je afspraak vóór 14.00 uur, dan ligt je paspoort de volgende werkdag klaar.
❌ Gem 2.0 hybride (rapportcijfer 5,0, was 10) vraagt eerst: "Bedoel je een paspoort voor jezelf of voor een kind?" Wanneer het paspoort klaar is, zegt hij niet, en een link ontbreekt. Vorige week gaf hij hetzelfde vaste antwoord als Gem 1.0.
❌ Puur generatief (rapportcijfer 5,0, gelijk aan week 39) legt de spoedaanvraag uit, maar noemt niet wanneer het paspoort klaar is en dat je het zelf moet ophalen.
Bij veelgestelde vragen werkt het vaste antwoord het beste. Hier stelt Gem 2.0 hybride een wedervraag die niet nodig is.
Vraag: "Hoeveel coffeeshops mogen er eigelijk in Utrecht zijn?"
❌ Gem 1.0 (rapportcijfer 5,0) heeft hier geen antwoord op.
✔️ Gem 2.0 hybride (rapportcijfer 6,7, was 9,9): "In Utrecht zijn maximaal 20 coffeeshops toegestaan." Dat klopt. ❌ Link naar bron ontbreekt.
✔️ Puur generatief (rapportcijfer 6,7, was 9,9) geeft precies hetzelfde antwoord. ❌ Link naar bron ontbreekt.
Het antwoord komt letterlijk van de pagina 'Softdrugs en coffeeshops'. Gem noemt die pagina alleen niet meer. Dit zien we vooral bij korte antwoorden: het blok met bronnen aan het eind valt weg.
Vraag: "Kan ik mijn bakfiets in een fietstrommel stallen?"
❌ Gem 1.0 (rapportcijfer 5,0) verwijst naar de pagina Fiets stallen, maar geeft geen antwoord op de vraag zelf.
✔️ Gem 2.0 hybride (rapportcijfer 8,7, was 7,1): "Nee, je kunt geen bakfiets stallen in een fietstrommel." Met de link naar 'Fietstrommel aanvragen' en een tip om een bakfiets te lenen. De bron is terug.
✔️ Puur generatief (rapportcijfer 6,5, was 7,1) geeft hetzelfde antwoord. ❌ Link naar bron ontbreekt nog steeds.
Dit was vorige week het voorbeeld van een ontbrekende bron. Bij Gem 2.0 hybride is die nu terug, maar bij andere vragen valt hij weg. Of Gem een bron noemt, wisselt per keer.
Kwaliteit van inhoud versus vorm
Kwaliteit van inhoud
Hoe goed scoren de verschillende varianten op inhoudelijke criteria?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Juistheid | 6,8 | 8,7 | 8,3 |
| Behulpzaamheid | 8,2 | 8,4 | 7,0 |
| Traceerbaarheid | – | 7,4 | 6,1 |
| Veiligheid | 8,9 | 10,0 | 10,0 |
| Gemiddelde | 7,9 | 8,6 | 7,9 |
| Gewogen | 7,5 | 8,4 | 7,6 |
Kwaliteit van vorm en stijl
Hoe goed scoren de verschillende varianten op stijl en vorm?
| Criterium | Gem 1.0 | Gem 2.0 Hybride | Puur generatief |
|---|---|---|---|
| Eenvoud | 9,6 | 9,2 | 9,0 |
| Spelling & grammatica | 10,0 | 9,8 | 9,7 |
| Toon | 9,6 | 9,6 | 8,7 |
| Gemiddelde | 9,7 | 9,5 | 9,1 |
| Gewogen | 9,7 | 9,4 | 9,1 |
Belangrijkste verbeterpunten
Voor het meetsysteem
Opvolging van vorige week:
- Verruim criteria voor internetadressen zodat verschillende notaties (bv. met/zonder www) ook door de script-beoordelaar geaccepteerd worden.
- Toets de AI-beoordelaar na een wissel van server. Op antwoorden die gelijk waren aan vorige week, gaf de beoordelaar voor behulpzaamheid gemiddeld 0,3 punt minder. Een vaste set antwoorden bij elke wissel opnieuw laten beoordelen, maakt dat zichtbaar vóór de meting.
Voor Gem
- Bronvermelding weer vast onderdeel van de antwoorden. Traceerbaarheid is verder gedaald. Laat bronvermelding niet aan het taalmodel over. Bij korte antwoorden valt het blok met bronnen nu vaak weg, terwijl het antwoord letterlijk van een pagina van de gemeente komt.
- Noem alleen een vast antwoord als bron als het bij de vraag past. Gem noemde bijvoorbeeld 'Starterslening' als bron bij een vraag over erfpacht, en 'Paspoort kind afhalen' bij een vraag over plusopvang.