ChatGPT is bijna niet meer weg te denken uit de samenleving. Het lijkt het antwoord op al je vragen te hebben en de mogelijkheden zijn ronduit verbazingwekkend. Desondanks zijn organisaties terughoudend met het implementeren van deze zogeheten Large Language Models (LLM’s). De reden? De LLM’s zijn nog niet betrouwbaar genoeg. Een LLM wil áltijd een antwoord geven, ook als het eigenlijk geen kennis van het onderwerp heeft. Daarnaast hebben LLM’s vaak geen of te weinig domeinkennis van een bedrijf. Ze hebben geen toegang tot de privédocumenten (maar goed ook!), waardoor ze soms niet in staat zijn om nuttige antwoorden te geven.
Hoe kun je als organisatie dan toch een LLM implementeren dat snelle en relevante antwoorden genereert? Een goede oplossing hiervoor is Retrieval Augmented Generation (RAG). Hiermee wordt de kennis van het LLM uitgebreid met de documenten van een interne kennisbank van een organisatie, zonder dat het model opnieuw getraind hoeft te worden. En daardoor kan het LLM relevante en accurate antwoorden geven op vragen die belangrijk zijn voor de organisatie.
Hoe werkt Retrieval Augmented Generation?
Retrieval Augmented Generation bestaat uit de volgende vier stappen:
- Allereerst worden de documenten opgeknipt in kleinere stukken en naar een ‘embedding model’ gestuurd dat ze omzet in numerieke representaties, genaamd embeddings. Deze embeddings worden opgeslagen in een database. Ze vatten de essentie van de tekst samen, waardoor computers de betekenis van woorden begrijpen en relaties tussen woorden kunnen herkennen.
- Wanneer een gebruiker een vraag stelt, wordt ook deze vraag omgezet in een embedding. Het systeem zoekt vervolgens in de database naar de meest vergelijkbare embeddings, waardoor het de relevante informatie kan vinden die overeenkomt met de vraag.
- De verkregen embeddings worden terugvertaald naar tekst en gecombineerd met de oorspronkelijke vraag. Dit vormt een prompt die naar het LLM wordt gestuurd. Hierin staat ook dat het antwoord alleen gebaseerd moet zijn op de informatie uit de meegestuurde documenten en wat te doen als er geen antwoord is gevonden.
- Tot slot gebruikt het LLM de prompt om een antwoord te genereren op basis van de verzamelde informatie uit de documenten. Dit zorgt voor nauwkeurige en relevante antwoorden op de vragen van gebruikers in de chatomgeving.
Hoe draagt Retrieval Augmented Generation bij aan de bedrijfsvoering?
Stel, de klantenservice van een organisatie ontvangt jaarlijks meer dan een miljoen vragen. De informatie die nodig is om deze vragen te beantwoorden staat in een database, verspreid over diverse documenten in verschillende formaten, zoals Word en PDF. Hierdoor zijn medewerkers van de klantenservice gemiddeld drie minuten per vraag aan het zoeken naar relevante informatie. Dit resulteert in lange wachttijden voor klanten en er is geen garantie dat de juiste informatie wordt gevonden.
Om dit proces te verbeteren en te versnellen, kun je een chatbot implementeren die gebruikmaakt van Retrieval Augmented Generation. Deze chatbot kan snel alle beschikbare informatie doorzoeken en relevante antwoorden genereren, waardoor de responstijden aanzienlijk verbeteren en informatie gemakkelijker vindbaar wordt.
Onze ervaring leert dat een dergelijke chatbot tot wel 75% tijdsbesparing oplevert voor de klantenservicemedewerkers, met een nauwkeurigheid van 90% bij het beantwoorden van vragen. Een overtuigende businesscase!
Andere toepassingen van Retrieval Augmented Generation in de praktijk
Retrieval Augmented Generation heeft het potentieel om de kwaliteit en bruikbaarheid van LLM-technologieën in de zakelijke wereld aanzienlijk te verbeteren. Een paar praktijkvoorbeelden:
- Chatbots kunnen snel grote contracten samenvatten en vervolgens bevraagd worden over specifieke details, zoals juridische en financiële vraagstukken. Dit vergemakkelijkt het voor organisaties om snel inzicht te krijgen in contractuele verplichtingen en risico’s.
- Chatbots kunnen worden ingezet op websites om veelgestelde vragen te beantwoorden (FAQ’s) en andere relevante informatie te verstrekken aan gebruikers. Dit verbetert de gebruikerservaring en vermindert de noodzaak voor menselijke tussenkomst bij eenvoudige ondersteuningsverzoeken.
- Door gebruik te maken van interne documenten van een organisatie, kunnen chatbots worden ingezet om marketingmateriaal, blogposts, productbeschrijvingen en meer te genereren die zijn afgestemd op de organisatie en de doelgroep. Dit bespaart tijd en middelen bij het produceren van relevante content voor verschillende marketingdoeleinden.
Potentiële uitdagingen van Retrieval Augmented Generation
Ondanks deze prachtige voorbeelden is Retrieval Augmented Generation (nog) geen wondermiddel. Uitdagingen kunnen ontstaan wanneer opgehaalde documenten niet altijd relevant zijn voor de specifieke intentie van de gebruiker, wat kan leiden tot ongewenste output. Dit kun je voorkomen door Retrieval Augmented Generation uit te breiden met een extra laag, waarbij elk chatbericht van de gebruiker op de achtergrond wordt omgezet naar een gestructureerd bericht dat effectiever kan worden gebruikt tijdens het zoeken naar relevante documenten. Deze aanpak verbetert de zoek-en-match-functionaliteit door de gebruikersintentie nauwkeuriger vast te leggen en te interpreteren.
Ook kan een LLM nog steeds onjuiste antwoorden geven door informatie op een verkeerde manier te interpreteren of te combineren, of door inaccurate informatie in de bijgeleverde documenten zelf. Dit kun je verhelpen door citaties toe te voegen, waarbij elk stukje informatie wordt gekoppeld aan een bijbehorend document. Hiermee kun je de gebruikte informatie terugvinden, en eventuele fouten in de bronnen snel opsporen en corrigeren.
Meer weten over Generatieve AI?
Heb je hulp nodig bij het navigeren door dit complexe en voortdurend evoluerende technologische landschap? Of wil je eens van gedachten wisselen over de mogelijkheden voor jouw organisatie op het gebied van Generatieve AI? Neem dan vooral contact met ons op, we denken graag met je mee.
The post Slim zoeken, slimmer vinden: Retrieval Augmented Generation in LLM’s appeared first on Future Facts Conclusion.
