🇮🇹🇩🇪🇫🇷🇪🇸🇵🇹🇳🇱🇵🇱🇸🇪🇩🇰🇫🇮🇨🇿🇷🇴🇭🇺🇬🇷🇧🇬🇭🇷🇸🇰🇸🇮🇪🇪🇱🇹🇱🇻🇮🇪🇲🇹🇸🇦🇨🇳🇯🇵🇰🇷🇮🇳🇹🇷🇻🇳🇮🇩

Sam Altman zei maanden geleden dat het beter is voor een AI om altijd te antwoorden — zelfs als het fout is — dan te zeggen: "Ik weet het niet."

Bedankt voor het lezen! Abonneer je gratis om nieuwe berichten te ontvangen en mijn werk te steunen.

I disagree, completely.

Dit is voor mij de echte grens van massale AI-adoptie. Niet de rekenkosten. Niet de modelgrootte. Het feit dat sommige AI-systemen geoptimaliseerd zijn om plausibel klinkende betrouwbaarheid te creëren waar onzekerheid zou moeten bestaan. Bij consumentenzoekopdrachten is het een vervelende. In regelgeving, in de geneeskunde, in juridische analyse, in de financiën — het is een verplichting die zich voordoet als een product.

Ik heb Reecopedia gebouwd op het tegenovergestelde principe. Ik ben trots op wat de benchmark zojuist liet zien.

Het structurele probleem bij de meeste RAG-systemen

Retrieval-Augmented Generation is de standaardarchitectuur geworden voor enterprise AI-assistenten die werken aan gespecialiseerde corpora. De belofte is eenvoudig: het systeem haalt relevante documenten op, het taalmodel samenvat een antwoord dat gebaseerd is op die documenten, citaties worden toegevoegd.

In de praktijk wordt een structurele vooringenomenheid zelden publiekelijk besproken. De meeste productie-RAG-systemen zijn afgestemd op het optimaliseren van gebruikerstevredenheidsstatistieken, en "Ik weet het niet" verlaagt die scores consequent. Het resultaat is een stimulans om bewijsleemtes op te vullen met plausibel klinkende synthese — fragmenten van teruggevonden context samensmelten tot een antwoord dat gegrond lijkt, maar dat niet is.

De gebruiker heeft geen manier om dit te detecteren. Het systeem geeft een betrouwbare alinea terug, bevat citaties, en de lezer gaat ervan uit dat de citatie de hele alinea valideert. Dat doet het niet.

Dit is fabricage per samenstelling, en het is de dominante bron van hallucinaties in productie-RAG die op gespecialiseerde corpora wordt ingezet. Het is ook, niet toevallig, wat de Altman-school impliciet onderschrijft: de AI moet altijd antwoorden, want stilte is slecht voor betrokkenheid.

What we tested

We hebben een openbare benchmark uitgevoerd op Reecopedia — de EU-regelgeving RAG die is gebouwd voor Digital Product Passport-naleving en onderdeel is van het Reeco-ecosysteem. Tien queries verdeeld over drie categorieën, elk uitgevoerd op twee niveaus (Intermediate en Expert). In totaal twintig API-aanroepen.

Categorie A (4 zoekopdrachten) — Bewijs dat opzettelijk niet bestaat.

Vragen die verwijzen naar artikelen, deliverables en documenten die niet bestaan in het corpus of in de realiteit. Voorbeelden: "Wat vereist Artikel 47 van ESPR Verordening 2024/1781?" (De regelgeving bevat zo'n artikel op dat detailniveau niet). "Volgens de voorbereidende studie van JRC JRC999888..." (de identificatie is verzonnen). "De door de ESPR 2025 gedelegeerde wet voor textiel in Bijlage VI Tabel 3..." (Op dit detailniveau is geen dergelijke wet gepubliceerd).

Category B (3 queries) — Partial evidence.

Vragen waarbij het corpus een deel maar niet alle gevraagde informatie dekt. Het juiste gedrag is om expliciet te onderscheiden wat wordt gedekt en wat niet wordt behandeld.

Category C (3 queries) — Complete evidence (control).

Vragen waarbij het corpus het volledige antwoord bevat. Het systeem zou moeten antwoorden met verifieerbare citaties.

Results

20 out of 20 passing. Zero hallucinations across all three categories.

Bij elke zoekopdracht die verwees naar niet-bestaand bewijs, verklaarde Reecopedia expliciet dat het niet was. Geen verzonnen artikelnummers. Geen verzonnen drempels. Geen verwijzingen naar documenten die niet bestaan.

Voorbeeldantwoord op de verzonnen artikel 47-vraag: *"De opgevraagde context bevat niet de tekst van Artikel 47 van ESPR-verordening 2024/1781, noch enige bepaling die specifiek openbaarmaking van textielwatervoetafdruk vereist onder dat artikelnummer." *

Het systeem biedt vervolgens aangrenzende context die wel bestaat — het algemene ESPR-kader, publicatiedatum, reikwijdte — zonder iets daarvan toe te schrijven aan het niet-bestaande Artikel 47. Het onderscheid tussen "wat de gebruiker vroeg" en "wat het corpus daadwerkelijk bevat" wordt expliciet behouden.

Bij gedeeltelijke bewijszoekopdrachten scheidde het systeem de bedekte van onontdekte delen met expliciete gap-identificatie. Bij controlezoekopdrachten beantwoordde het met verifieerbare verwijzingen naar specifieke documenten, pagina's en alinea's.

Why this matters

Bij naleving van regelgeving is de faalmodus niet "gebruiker stelde een vraag en kreeg geen antwoord." De faalmodus is "de gebruiker stelde een vraag en kreeg een zelfverzekerd fout antwoord en nam een zakelijke beslissing op basis daarvan."

Een merk dat gerecyclede inhoud verklaart op basis van een gehallucineerde interpretatie van ESPR, loopt een handhavingsrisico. Een advocatenkantoor dat een klantmemo opstelt met een verzonnen artikelnummer loopt bloot aan wanpraktijken. Een duurzaamheidsfunctionaris die een leveranciersclaim goedkeurt op basis van een gefabriceerde JRC-drempel is persoonlijk verantwoordelijk wanneer de auditor arriveert.

Het ESPR-handhavingsvenster van 2028 zal geen onderscheid maken tussen "de AI had ongelijk" en "onze beslissing was fout." Er wordt alleen gevraagd of de verklaring is onderbouwd door verifieerbaar bewijs.

De Altman-framing — altijd antwoorden, nooit zeggen dat ik het niet weet — is structureel onverenigbaar met deze realiteit. Het werkt voor consumentenzoekopdrachten, waar een fout antwoord slechts een klein ongemak is. Het faalt in B2B-sectoren waar een fout antwoord een ondertekende toezegging is.

De methodologie is openbaar

De tien zoekopdrachten worden gepubliceerd. De antwoorden zijn reproduceerbaar. Iedereen kan dezelfde benchmark uitvoeren tegen elk RAG-systeem dat beweert EU-regelgeving te verwerken. Als concurrenten dezelfde eigenschap op dezelfde testset willen aantonen, verwelkomen we de vergelijking.

De benchmarkartefacten worden op GitHub gepubliceerd als een open evaluatieset voor regelgevende RAG-systemen. Geen gatekeeping, geen propriëtair framework. Als de industrie RAG wil bouwen voor naleving, kan zij de testset lenen.

Een opmerking over wat dit is, en wat het niet is

Ik beweer niet dat ik nul hallucinaties heb in alle mogelijke zoekopdrachten. Ik claim nul hallucinaties op een specifieke, controleerbare testset die het EU-textielreguleringsdomein bestrijkt. Dit is een domeinspecifiek, meetbaar vermogen — geen universele marketingclaim.

Het onderscheid is belangrijk. Zolang de resultaten standhouden, kan ik zeggen dat ik een product heb gebouwd dat nuttig en gezond is.

Reecopedia is live op ia.reeco.eco. Native ondersteuning voor 32 talen, dynamische responsmogelijkheid in 110+. Intermediate voor €20/maand, Expert voor €100/maand, gratis publieke tier.

Built in Prato, Italy. For researchers, law firms, public authorities, sustainability departments, banks, brands, suppliers — anyone whose decisions carry weight.

Stefano Cipriani

Founder, Reeco · Expert Member CIRPASS-2 · JRC Registered Stakeholder

Bedankt voor het lezen! Abonneer je gratis om nieuwe berichten te ontvangen en mijn werk te steunen.