Azure Cognitive Services Uitbreiden: Een Duik in LLM en Vectorzoeken

In het voortdurend evoluerende landschap van kunstmatige intelligentie en machine learning speelt Microsoft een prominente rol met hun innovatieve oplossingen. Een van de meest recente en opwindende ontwikkelingen binnen hun arsenaal aan tools is de introductie van vectorzoeken in de Cognitive Search API. Deze technologie gaat veel verder dan traditioneel zoeken door gebruik te maken van diepe leermechanismen om zoekopdrachten te begrijpen en relevante resultaten te leveren. Microsoft’s Cognitive Search API biedt nu vectorzoeken als een service, wat betekent dat ontwikkelaars en bedrijven deze krachtige functionaliteit direct kunnen integreren in hun applicaties. Deze service is niet alleen geoptimaliseerd voor samenwerking met grote taalmodellen zoals die in Azure OpenAI, maar heeft ook het potentieel om een revolutie teweeg te brengen in de manier waarop we omgaan met zoekopdrachten en gegevensanalyse in de toekomst.

Gereedschappen voor generatieve AI

Met tools zoals Semantic Kernel, TypeChat en LangChain kunnen toepassingen worden gebouwd rond generatieve AI-technologieën zoals Azure OpenAI. Deze tools laten je beperkingen stellen rond het onderliggende grote taalmodel (LLM) en gebruiken het als een hulpmiddel voor het bouwen en uitvoeren van natuurlijke taalinterfaces.

Wat is een LLM?

Een LLM is in essentie een hulpmiddel voor het navigeren in een semantische ruimte, waarbij een diep neuraal netwerk de volgende lettergreep voorspelt in een reeks tokens die volgen op je initiële prompt. Waar een prompt open is, kan de LLM zijn inputs overschrijden, waardoor content wordt geproduceerd die misschien plausibel lijkt, maar in feite onzin is.

Betrouwbaarheid van LLM’s

Net zoals we de outputs van zoekmachines vertrouwen, vertrouwen we ook de outputs van LLM’s. Maar het trainen van grote taalmodellen met betrouwbare gegevens van sites zoals Wikipedia, Stack Overflow en Reddit geeft geen begrip van de inhoud. Soms kan de output correct zijn, maar soms zal het fout zijn.

Hoe valse output vermijden?

Hoe kunnen we valse en onzinnige output van onze grote taalmodellen vermijden en ervoor zorgen dat onze gebruikers nauwkeurige en logische antwoorden krijgen?

Beperken van grote taalmodellen met semantisch geheugen

Wat we moeten doen is het LLM beperken. Dat is waar de nieuwe LLM-gebaseerde ontwikkelstack van Microsoft van pas komt. Met tools zoals TypeChat kan je een specifiek outputformaat afdwingen of een orchestratiepijplijn zoals Semantic Kernel gebruiken om te werken met aanvullende bronnen van betrouwbare informatie.

Wat is “semantisch geheugen”?

Semantisch geheugen gebruikt vectorzoeken om een prompt te bieden die kan worden gebruikt om een feitelijke output van een LLM te leveren. Hierbij beheert een vector-database de context voor de initiële prompt en vindt een vector-zoekopdracht opgeslagen gegevens die overeenkomen met de initiële gebruikersquery.

Vectorindexering toevoegen aan Azure Cognitive Search

Azure Cognitive Search bouwt voort op het eigen werk van Microsoft aan zoekhulpmiddelen. Het is een platform als een service, waarbij je private gegevens worden gehost en Cognitive Service API’s je content kunnen openen.

Embedding-vectoren genereren en opslaan voor je content

Het is belangrijk op te merken dat Azure Cognitive Search een “breng je eigen embedding-vector” service is. Voor vectorzoekopdrachten in Azure Cognitive Search wordt een model voor naaste buren gebruikt.

Aan de slag met vectorzoeken in Azure Cognitive Search

Het gebruik van Azure Cognitive Search voor vectorqueries is eenvoudig. Vectors worden opgeslagen als vectorvelden in een zoekindex.

Verder gaan dan eenvoudige tekstvectoren

Er is veel meer mogelijk met de vectorcapaciteiten van Azure Cognitive Search dan alleen tekst matchen. Microsoft is snel bezig de tools en technieken die het heeft gebruikt om zijn eigen GPT-4-gebaseerde Bing-zoekmachine en verschillende Copilots te bouwen, te productiseren.