Kennen Sie schon unseren Podcast? Thomas Bahn diskutiert mit Gästen aus Wirtschaft und Wissenschaft über Künstliche Intelligenz und Chatbots. Jetzt reinhören

Chatbots und KI: #54 - Die Zukunft von LLMs: Retrieval Augmented Generation mit Tanja Nündel, Teil 2

von Johannes,
assono GmbH, Standort Kiel,

Thema der heutigen Folge

Wenn Unternehmen heute ein großes Sprachmodell wie ChatGPT produktiv einsetzen wollen, gibt es eine Reihe von Herausforderungen, die gelöst werden müssen, um zuverlässige, vertrauenswürdige, sichere und gesetzeskonforme Ergebnisse zu erzielen.
Ein großer Bereich, in dem derzeit geforscht und gearbeitet wird, ist die Richtigkeit und Sicherheit der Daten, insbesondere die folgenden drei Punkte: Halluzinationen, Datentrennung und Datenschutz.
Einer der vielversprechendsten Lösungsansätze ist die sogenannte Retrieval Augmented Generation (RAG), die verspricht, die aktuellen Probleme der LLMs kostengünstig und zuverlässig zu lösen.

Im zweiten Teil des Interviews mit Tanja Nündel geht es darum, wie Retrieval Augmented Generation die Probleme der Halluzination, der Datenkapselung und des Datenschutzes lösen kann, welche Voraussetzungen dafür z.B. in einem KMU erfüllt sein müssen und wie dies konkret in einem Chatbot-Projekt aussehen könnte.

Ersten Teil des Interviews verpasst?

Kein Problem! Hören Sie sich jetzt den ersten Teil des Interviews mit Tanja Nündel an.

Heute zu Gast

Tanja Nündel ist Expertin auf dem Gebiet der KI-gestützten Langtext- und Dokumentenanalyse sowie der KI-gestützten Suche und arbeitet seit über drei Jahren bei assono. Derzeit forscht sie zum Thema Retrieval Augmented Generation (RAG).

Tanja Nündel arbeitet bei assono im Bereich der KI-gestützten Langtext- und Dokumentenanalyse sowie der KI-gestützten Suche.

Shownotes

In „Chatbots und KI“ diskutiert Thomas Bahn mit interessanten Gästen aus Wirtschaft und Wissenschaft über Nutzen, Anwendungen und Erfahrungen aus den Bereichen Chatbots und Künstliche Intelligenz.

Zeitstempel:
00:00 Intro
01:06 Wie wird das Problem der Datenrichtigkeit durch Retrieval Augmented Generation gelöst?
02:45 Datenkapselung in großen Sprachmodellen
06:23 Große Sprachmodelle selbst hosten
08:00 Datenschutz gewährleisten
10:21 Wissensmanagement als Voraussetzung für Retrieval Augmented Generation
12:10 Retrieval Augmented Generation mit einem Chatbot kombinieren
16:20 Ausblick: Retrieval Augmented Generation als Standardmethode
00:22:30 Outro

Weitere Informationen:

Oliver Schonschek, Aug 2023
Lässt sich ChatGPT datenschutzgerecht nutzen?

Najeeb Nabwani, Sept 2023
Full Fine-Tuning, PEFT, Prompt Engineering, and RAG: Which One Is Right for You

Cobus Greyling, Jan 2024
Large Language Model Hallucination Mitigation Techniques

Patrick Lewis et al.
Retrieval-Augmented Generation for Knowledge-Intensive NLP Task

Siqing Huo et al., 2023
Retrieving Supporting Evidence for LLMs Generated Answers
(preprint)

Cobus Greyling, Oct 2023
Emerging RAG & Prompt Engineering Architectures for LLMs

Oded Ovadia et al.
Fine-Tuning or Retrieval? Comparing Knowledge Injection in LLMs
(preprint)

Host:
Thomas Bahn ist Geschäftsführer, Mitgründer und Gesellschafter der assono GmbH. Seit mehr als 20 Jahren berät er erfolgreich Unternehmen aus ganz Deutschland rund um das Thema Software und Digitalisierung.

Produktion:
Johannes Göttsch ist Mediengestalter und Conversational Designer bei der assono GmbH.

Bei Fragen oder Anmerkungen freuen wir uns auf Ihre Nachricht an podcast@assono.de

Der Podcast wird präsentiert von assono - Wir entwickeln Chatbots, mit denen sich Menschen gerne unterhalten.

Ein Chatbot ist genau das Richtige für Ihr Unternehmen und Sie wollen mehr darüber erfahren? Gerne beraten wir Sie in einem kostenlosen Erstgespräch zu Ihrem Anwendungsfall. Vereinbaren Sie dazu einen Termin auf unserer Webseite oder rufen Sie uns an unter +49 4307 900 408. Alternativ können Sie auch einen Termin über unseren KI-Chatbot "asski" vereinbaren. Wir freuen uns auf Sie!

Podcast

Sie haben Fragen zu diesem Artikel? Kontaktieren Sie uns gerne: blog@assono.de

Sie haben Interesse an diesem Thema?

Gerne bieten wir Ihnen eine individuelle Beratung oder einen Workshop an.

Kontaktieren Sie uns

Weitere interessante Artikel

Sie haben Fragen?

Wenn Sie mehr über unsere Angebote erfahren möchten, können Sie uns jederzeit kontaktieren. Gerne erstellen wir eine individuelle Demo für Sie.

assono GmbH

Standort Kiel (Zentrale)
assono GmbH
Lise-Meitner-Straße 1–7
24223 Schwentinental

Standort Hamburg
assono GmbH
Bornkampsweg 58
22761 Hamburg

Telefonnummern:
Zentrale: +49 4307 900 407
Vertrieb: +49 4307 900 411

E-Mail-Adressen:
kontakt@assono.de
bewerbung@assono.de