Wat er nodig is om een interne kennischatbot te schalen, onze best practices

Een centrale zoekindex als apart component in plaats van iets dat diep in de bot verstopt zit: dezelfde index kan later andere tools en teams bedienen.

Een vraag kan vandaag uitwaaieren naar parallelle zoektaken per bron en morgen uitgroeien tot gespecialiseerde agents per kennisdomein, zonder rebuild.

Toegang beheerd via bestaande security groups betekent dat een nieuw team onboarden een IT-ticket is, geen ontwikkelproject.

De reflex is om alles naar één plek te sturen. Dat werkt averechts: technische diagnostiek, HTTP-requests en databasecalls overspoelen het beeld tot de gesprekken die je echt wil lezen onvindbaar zijn.

We geven elk systeem nu een gedocumenteerde en niet-overlappende scope: LLM-gedrag in Langfuse, applicatie- en infrastructuurmonitoring in de standaard APM-stack. Die splitsing is meer werk dan ze klinkt, want een trace is een boom. Haal de technische spans er naïef uit en de overblijvende spans verliezen hun parent, waardoor de structuur uiteenvalt in fragmenten. Het vraagt doordachte instrumentatie om het functionele beeld leesbaar te houden. Op één project bouwden we daar onze eigen fix voor, met de bedoeling die te open-sourcen.

Prompts tunen zonder traces is gokken. En de mensen die een antwoord kunnen beoordelen zijn de domeinexperts van de klant, niet het development-team. Op één project zetten we single sign-on op via de identity provider van de klant zelf, zodat hun team traces kon openen met hun bestaande accounts. Op een ander project betekende het traceren van elk agent-gesprek dat we prompts samen met de klant verfijnden in plaats van in het abstracte over kwaliteit te discussiëren.

Twee praktische kanttekeningen:

• Beslis vooraf met de privacy officer wat een trace mag bevatten, want gesprekslogs zijn het terrein van persoonsgegevens en een technische identifier zonder gebruikersgegevens volstaat vaak.
• Hou de factuur in het oog: een self-hosted observability-stack is een eigen doorlopende kost, in één geval enkele honderden euro's per maand voordat we hem terugschroefden naar het echte gebruik.

Tegenstrijdige documenten, verouderde versies die nooit iemand archiveerde, en vooral ontbrekende classificatie: zonder structuur kan je de assistent niet op de juiste bronnen voor een use case richten. Verwacht in elk kennisbotproject een datagesprek, en voer het vroeg.

In één testronde betrapten gebruikers de bot erop dat hij een vraag over het ene product beantwoordde met informatie over een ander product met een bijna identieke naam, met de verkeerde bron als referentie, een fout die een nieuwe medewerker nooit zou herkennen. Inline klikbare bronvermeldingen zijn het vangnet; harde bronfilters per team verkleinen de ruimte voor verwarring; en de eerlijke les is dat alleen domeinexperts dit soort fouten eruit halen, en net daarom is gestructureerd testen door echte gebruikers niet optioneel.

Of het juiste document bovenkomt, wordt beslist door meerdere technieken die samenwerken: keyword search gecombineerd met semantisch zoeken, boosting op documenttype of datum, reranking (vijftig kandidaten ophalen, ze opnieuw analyseren tegenover de vraag, de beste handvol overhouden) en het herschrijven van de vraag van de gebruiker in context. Elke laag verschuift de resultaten meetbaar, en de tuning blijft evolueren; alleen al bij het herschrijven van queries startten we met keyword-achtige herformuleringen en zien we nu dat natuurlijke, volledige vragen beter ophalen. Budgetteer voor itereren op deze stack, niet voor ze één keer configureren.

Retrieval voedt het model met fragmenten van een document, maar het antwoord linkt naar het volledige document, dus gebruikers gaan ervan uit dat de assistent alles las, en de vervolgvraag 'waarover gaat dit document' krijgt een vreemd mager antwoord. We dichten die kloof nu bewust: geïndexeerde samenvattingen per document op het ene project, en op een ander tools waarmee de assistent een specifiek document op naam kan openen en doorlezen wanneer een vraag daarom vraagt.

Zodra een bot goed antwoordt, stelt iemand de ongemakkelijke vraag: wat kan hij precies zien? Zorg dat je exact kan antwoorden welke mappen en pagina's geïndexeerd zijn, hou de geïndexeerde scope bewust afgebakend, en verwacht vragen om bepaalde gebruikersgroepen te beperken tot enkel gecureerde varianten. Hetzelfde geldt voor de logginglaag hierboven: regel ze met de privacy officer voor je ze bouwt, want goedkeuring achteraf inbouwen legt de roadmap stil.

Tijdens één project stond het taalmodel waarmee we startten al gepland voor uitfasering nog voor het project eindigde. Behandel het model als een vervangbaar onderdeel: bouw en test upgrades als deel van het plan, en ga ervan uit dat het model waarmee je lanceert niet het model is waarop je binnen een jaar draait.