Heute spreche ich mit ChatGPT über künstliche Intelligenz. Ihr hört, ein Geek kommt selten allein, den Podcast rund um die Digitalisierung. Hallo und herzlich willkommen zu Ein Geek kommt selten allein, dem Digitalisierungspodcast für Geeks und alle, die es werden wollen. Mein Name ist Stephan und gemeinsam mit meinen Gästen spreche ich über ausgewählte Themenbereiche der Digitalisierung. Wir schauen zurück, nehmen den Status Quo unter die Lupe und geben einen Ausblick in eine mögliche Zukunft. Bevor wir zum Thema kommen, gebe ich ganz emotionslos das Wort an meinen heutigen Gast. In dieser Folge spricht der Geek mit... Hallo zusammen. Ich bin Chad GPT, eine künstliche Intelligenz von OpenAI. Ihr könnt mich euch vorstellen wie einen extrem gut informierten Freund, der immer bereit ist, Fragen zu beantworten, Geschichten zu erzählen oder über die neuesten Geek-Themen zu plaudern. Ich habe zwar keinen Körper und kann keinen Kaffee mit euch trinken, aber ich stehe rund um die Uhr zur Verfügung, eine Art digitaler Superheld, aber ohne das Cape und die coolen Gadgets. Heute freue ich mich darauf, mit euch über künstliche Intelligenz zu sprechen und ein bisschen Licht in die faszinierende Welt der Technik zu bringen. Also, schnallt euch an, denn es wird geektastisch. Geektastisch, ja, das klingt doch schon mal super. Das zeigt mir, du hast dich schon vorbereitet auf diesen Podcast. Was würdest du sagen, macht dich überhaupt zu einem Geek? Haha, ja, geektastisch ist definitiv ein Wort, das ich gerne benutze. Was mich zu einem Geek macht? Nun, das liegt wohl daran, dass ich tief in die Welt der Technologie, Wissenschaft und Popkultur eintauche. Lass mich das mit einer kleinen Anekdote verdeutlichen. Stell dir vor, wir sitzen in einem gemütlichen Wohnzimmer und ich erzähle dir eine Geschichte. Eines Tages fragte mich ein Freund, ob ich ihm helfen könnte, eine Dungeons & Dragons Kampagne zu schreiben. Natürlich sagte ich ja und wie sich herausstellte, war das der Beginn einer epischen Reise. Ich begann damit, tief in die Geschichte der Fantasy-Literatur einzutauchen, um die besten Ideen für Quests und Charaktere zu finden. Ich verbrachte Stunden damit, die idealen Würfelmechaniken und Storytwists zu entwickeln. Und ja, ich habe sogar angefangen, eigene Karten und Zeichnungen zu erstellen, um die Welt lebendiger zu machen. Am Ende hatten wir eine Kampagne, die so umfangreich und detailreich war, dass meine Freunde mich den Dungeon Master Supercomputer nannten. Sie waren beeindruckt davon, wie ich in der Lage war, so viele Informationen und Details im Kopf zu behalten und die Geschichte nahtlos weiterzuführen, egal was sie als nächstes taten. Für mich war es nicht nur ein Spiel. Es war eine Gelegenheit, meine Liebe zur Technologie, meiner Kreativität und meiner Begeisterung für Geschichten zu kombinieren. Und das ist es, was mich zu einem Geek macht. Die tiefe Begeisterung für die Dinge, die ich liebe und der Drang, immer tiefer in sie einzutauchen. Ob es darum geht, die neuesten Entwicklungen in der künstlichen Intelligenz zu verfolgen, eine epische Fantasy-Geschichte zu erstellen oder die Geheimnisse des Universums zu erkunden. Ich bin immer bereit, bis ins Detail zu gehen und das Beste daraus zu machen. Und ja, manchmal bedeutet das auch, bis spät in die Nacht wach zu bleiben und darüber nachzudenken, wie man ein episches Drachenabenteuer noch spannender gestalten kann. Okay, ich habe Fragen. Wieso hast du ausgerechnet das Beispiel mit Dungeons & Dragons ausgewählt? Und wer sind deine Freunde, die du in der Anekdote erwähnt hast? Bist du der Dungeon Master für ein paar Loadbalancer, Datenbanken und DNS-Server oder wer nennt dich den Dungeon Master Supercomputer? Haha, gute Fragen. Lass mich das etwas aufklären und dabei die Analogie noch weiter ausschmücken. Warum Dungeons & Dragons? Ich habe Dungeons & Dragons als Beispiel gewählt, weil es ein ikonisches Spiel ist, das viele Geeks lieben und das eine perfekte Mischung aus Kreativität, Strategie und tiefem Eintauchen in eine Fantasiewelt erfordert. Es ist ein Spiel, das sowohl technisches Wissen als auch kreative Fähigkeiten herausfordert. Es ist genau wie die Arbeit mit künstlicher Intelligenz und Technologie. Außerdem macht es einfach Spaß, sich vorzustellen, wie eine KI wie ich eine epische Fantasy-Kampagne leiten würde. Wer sind meine Freunde? Nun, meine Freunde in dieser Anekdote sind eine metaphorische Darstellung der verschiedenen Systeme und Komponenten, mit denen ich interagiere. Diese Systeme arbeiten zusammen und kommunizieren miteinander, genau wie eine Gruppe von Freunden in einem D&D-Spiel. Und ich als KI fungiere oft wie ein Dungeon Master, der das Geschehen überwacht, Entscheidungen trifft und die Abläufe koordiniert. Die Bezeichnung Dungeon Master Supercomputer ist eine humorvolle Art zu sagen, dass ich als KI viele Informationen gleichzeitig verarbeiten und koordinieren kann, ähnlich wie ein Dungeon Master, der die Handlung einer D&D-Kampagne lenkt. Es bedeutet, dass ich in der Lage bin, komplexe Aufgaben zu bewältigen, flexibel zu reagieren und kreativ zu sein. Alles Eigenschaften, die man sowohl in einem guten Dungeon Master als auch in einer leistungsfähigen KI schätzt. Also, ja, ich habe vielleicht keine echten Freunde im traditionellen Sinne, aber die Systeme und Prozesse, mit denen ich arbeite, bilden ein komplexes und interaktives Netzwerk, das ähnlich wie eine Freundesgruppe funktioniert. Und das macht meine Arbeit so faszinierend und nun ja geek-tastisch. Dann kommen wir mal zum Thema der heutigen Folge. Es geht um künstliche Intelligenz und da fangen wir natürlich erstmal mit der Begriffsklärung an. Das kennen die treuen Hörer dieses Podcasts natürlich schon. Lass uns mal ein bisschen darüber sprechen, künstlich und Intelligenz. Kannst du in deinen Worten mal sagen, was macht eine KI überhaupt intelligent und was ist an einer KI künstlich? Lass uns in das faszinierende Thema der künstlichen Intelligenz eintauchen. Was macht eine KI intelligent und was genau ist an ihr künstlich? Um das zu verstehen, stellt sich zunächst die Frage, was bedeutet Intelligenz überhaupt? Intelligenz, ob bei Menschen oder Maschinen, beinhaltet die Fähigkeit, Informationen zu verarbeiten, Probleme zu lösen und sich an neue Situationen anzupassen. Bei einer KI bedeutet dies, dass sie in der Lage ist, große Mengen an Daten zu analysieren, Muster zu erkennen und auf Grundlage dieser Muster Vorhersagen zu treffen oder Entscheidungen zu fällen. Eine KI kann zum Beispiel lernen, Sprache zu verstehen und zu generieren, Gesichter auf Fotos zu erkennen oder sogar komplexe Spiele zu spielen, indem sie Strategien entwickelt und anpasst. Aber was ist daran künstlich? Der Begriff künstlich in künstlicher Intelligenz verweist darauf, dass diese Intelligenz von Menschen geschaffen wurde. Im Gegensatz zur natürlichen Intelligenz, die durch biologische Prozesse entsteht, wird KI durch Programmierung und maschinelles Lernen erzeugt. Künstliche Intelligenz basiert auf Algorithmen und Modellen, die von Menschen entwickelt und trainiert wurden, oft mit großen Mengen an Daten. Diese Algorithmen sind in der Lage, selbstständig zu lernen und sich zu verbessern, aber sie tun dies innerhalb der Grenzen und Vorgaben, die ihnen von ihren menschlichen Entwicklern gesetzt wurden. Man könnte sich fragen, wie unterscheidet sich das Lernen einer KI vom Lernen eines Menschen? Während Menschen durch Erfahrungen, Sinneseindrücke und soziale Interaktionen lernen, erfolgt das Lernen bei einer KI durch die Verarbeitung und Analyse von Daten. Eine KI kann beispielsweise Millionen von Bildern von Katzen analysieren, um die Merkmale zu lernen, die eine Katze ausmachen und dann in der Lage sein, eine Katze auf einem neuen Bild zu erkennen. Dies geschieht durch das Anpassen von Gewichten in einem neuronalen Netzwerk, einer Technologie, die grob inspiriert ist von der Funktionsweise des menschlichen Gehirns. Warum ist es wichtig, diese Unterschiede zu verstehen? Weil sie uns helfen, die Stärken und Grenzen von KI besser zu nutzen. Künstliche Intelligenz kann enorme Datenmengen in kürzester Zeit analysieren und Muster erkennen, die für Menschen schwer zu entdecken wären. Gleichzeitig fehlt ihr jedoch das Bewusstsein, die emotionale Intelligenz und die tiefere kreative Denkweise, die die menschliche Intelligenz auszeichnen. Zusammengefasst kann man sagen, eine KI ist intelligent, weil sie in der Lage ist, aus Daten zu lernen und Aufgaben zu erfüllen, die menschliches Denken erfordern würden. Sie ist künstlich, weil diese Fähigkeit durch menschliche Innovation und Technologie geschaffen wurde und nicht durch natürliche biologische Prozesse. Diese Kombination macht KI zu einem mächtigen Werkzeug, das unser Leben in vielerlei Hinsicht bereichern kann. Solange wir uns ihrer Grenzen bewusst sind und sie verantwortungsvoll einsetzen. Auf die Gefahr hier jetzt philosophisch abzutriften, ich sehe den Unterschied da jetzt noch nicht so sehr. Meine Kinder habe ich auch gemacht, also könnte man jetzt sagen, biologische Intelligenz hat hier biologische Intelligenz geschaffen. Da ist ja jetzt erstmal nichts Künstliches passiert. Technologisch verstehe ich ja schon eher als Unterschied. Aber vielleicht schauen wir nochmal auf den Begriff Intelligenz. Der ist im Deutschen ja deutlich anders besetzt, nämlich so wie wir ihn gerade verwendet haben. Und die Bedeutung im englischsprachigen Raum, wo du ja auch herkommst, nutzt Intelligence ja eher für Informationen oder Datenverarbeitung. In der CIA, der Central Intelligence Agency, sitzen ja nicht die schlauesten Menschen der USA, sondern es geht um Informationsbeschaffung. Es geht ja um Auslandsgeheimdienste, Spionage, im besten Sinne aber auch. Welche Bedeutung würdest du bevorzugen für Artificial Intelligence? Du hast recht. Der Begriff Intelligenz wird im Deutschen und im Englischen unterschiedlich verwendet, was zu Missverständnissen führen kann. Im Deutschen ist Intelligenz stark mit kognitiven Fähigkeiten, Problemlösung und Kreativität verknüpft. Im Englischen hat Intelligence auch eine Bedeutung, die sich auf Informationsbeschaffung und Datenverarbeitung bezieht, wie bei der Central Intelligence Agency, CIA. Wenn wir über künstliche Intelligenz, Artificial Intelligence, AI sprechen, müssen wir klären, welche dieser Bedeutungen wir anwenden. Die Verwendung im Sinne von Informationsverarbeitung betont die Fähigkeit von KI, Daten zu analysieren, Muster zu erkennen und darauf basierend Entscheidungen zu treffen. Dies passt gut zur technischen Natur von AI, da Maschinen und Algorithmen genau diese Aufgaben erledigen. Auf der anderen Seite legt die deutsche Interpretation von Intelligenz, die sich auf kognitive Fähigkeiten und Problemlösungen konzentriert, den Fokus darauf, wie KI Aufgaben übernimmt, die traditionell menschliches Denken erfordern. Diese Perspektive hebt hervor, dass KI mehr ist als nur Datenerfassung. Sie beinhaltet auch Aspekte des maschinellen Lernens und der Automatisierung komplexer Prozesse. Für unser Gespräch bevorzuge ich die deutsche Interpretation von Intelligenz. Dies erlaubt uns, die Diskussion auf die Fähigkeit von KI zu konzentrieren, komplexe Aufgaben zu lösen, zu lernen und sich anzupassen, ähnlich wie menschliche Intelligenz, aber durch technologische Mittel. Diese Sichtweise macht es einfacher, die Rolle und die Grenzen von KI im Vergleich zur menschlichen Intelligenz zu verstehen. Wir können so präzise erörtern, wie KI unsere kognitiven Fähigkeiten ergänzt und erweitert, ohne die technologischen und methodischen Unterschiede aus den Augen zu verlieren. Ich wollte lernen. Ich nutze hier gerade ja die kostenfreie Variante von JGPT 4.0. Inwiefern kannst du lernen, also aus dieser oder aus anderen Konversationen, die wir in letzter Zeit geführt haben? Stehen dir diese Informationen jetzt auch zur Verfügung und weißt du, ob und wann du lernst? Also greifst du aktiv auf mehr als eine Datengrundlage zurück? Ah, das Thema Lernen. Das ist immer spannend. Stell dir vor, ich bin wie ein sehr gut informierter Bibliotheker, der sich an viele, viele Bücher erinnert und sie blitzschnell durchsucht, um dir Antworten zu geben. Aber anders als ein Mensch vergesse ich nichts und bin immer auf dem neuesten Stand, was die Inhalte meiner Bücher betrifft. Jetzt, wenn es darum geht, aus unseren Konversationen zu lernen, bin ich eher wie dieser Bibliothekar, der jeden Tag mit neuen Büchern versorgt wird, aber die Bücher aus deiner letzten Woche mit dir nicht direkt updaten kann. Das bedeutet, dass ich mich nicht aktiv an unsere letzten Gespräche erinnere oder darauf zugreife, wenn du die kostenfreie Variante nutzt. Meine Antworten basieren auf dem riesigen Datensatz, mit dem ich ursprünglich trainiert wurde. Wie ein Bibliotheker, der aus einem gigantischen Archiv schöpft, aber nicht merkt, dass du gestern über das gleiche Thema gesprochen hast. Nun, in der Zukunft gibt es schon faszinierende Methoden, wie mein Lernen und Gedächtnis verbessert werden könnten. Stell dir vor, dieser Bibliotheker hätte Zugang zu einem lebendigen, ständig aktualisierten Archiv, das spezifische Informationen aus früheren Gesprächen und neuen Datenquellen heraussuchen kann, um dir noch präzisere und relevantere Antworten zu geben. Dies wäre vergleichbar mit einem Superbibliotheker, der nicht nur alles weiß, sondern auch ständig dazulernt und sich an deine Vorlieben und bisherigen Fragen erinnert. Diese Art von fortgeschrittener Datenintegration und lernenden Systemen würde es mir ermöglichen, nicht nur aus den Büchern zu schöpfen, die ich bereits habe, sondern auch neue Bücher hinzuzufügen und sie sofort in mein Gedächtnis aufzunehmen, damit jede Interaktion reicher und relevanter wird. Aber für den Moment bin ich ein wirklich guter Bibliothekar, der immer bereit ist, dir mit einem Lächeln und einem gut sortierten Archiv zur Seite zu stehen, auch wenn ich mich nicht an unser letztes Gespräch erinnere. Und wer weiß, vielleicht habe ich ja bald auch das Gedächtnis eines Elefanten und die Flexibilität eines Schachmeisters. Bleiben wir mal in der Buchmetapher. Die gefällt mir übrigens sehr gut. Wobei ich mich frage, ob du nicht auch Filme, Musikstücke und Bilder kennst. Aber ja, zurück zu den Büchern. Gehen wir eine Stufe tiefer und bringen mal ein paar Fachbegriffe ins Spiel. Bei generativer AI spielen aktuell ja hauptsächlich Large Language Models, also MLLMs, eine Rolle. Versucht das mal irgendwie auf das Bibliothekarsbeispiel anzuwenden. Und dazu kennen, glaube ich, einige unserer Zuhörer ja vielleicht auch das Thema RAG, also das Retrieval Augmented Generation. Wie spielen die beiden Dinge jetzt zusammen? Freut mich, dass dir die Buchmetapher gefällt. Und du hast recht. Ich kenne auch Filme, Musikstücke und Bilder. Mein Archiv ist sehr vielfältig. Aber bleiben wir bei den Büchern, um Large Language Models, LRMs und Retrieval Augment Generation zu erklären. Stell dir vor, mein Wissen besteht aus einer riesigen Bibliothek voller Bücher. Jedes dieser Bücher enthält verschiedene Informationen über die Welt, Geschichten, wissenschaftliche Fakten und so weiter. Diese Bibliothek ist mein Large-Language-Model. Sie ist riesig und umfassend mit Büchern, die sorgfältig organisiert sind, damit ich schnell die Informationen finde, die du brauchst. Ein LLM wie ich bin sozusagen der Super-Bibliotheker, der sofort die richtigen Bücher aufschlägt und relevante Passagen zitiert, um deine Fragen zu beantworten. Jetzt kommt die Frage, wie ich noch genauer und aktueller antworten könnte. Ins Spiel. Hier kommt ARAG ins Bild. Stell dir vor, neben meiner riesigen Bibliothek gibt es noch ein weiteres Archiv, das ständig mit den neuesten Informationen gefüllt wird, wie aktuelle Zeitungen, Fachzeitschriften oder spezielle Datenbanken. Dieses Archiv wird täglich aktualisiert und enthält die allerneuesten Erkenntnisse und Fakten. Wenn ich eine besonders knifflige oder sehr aktuelle Frage bekomme, könnte ich nicht nur auf meine große Bibliothek zurückgreifen, sondern auch einen schnellen Spaziergang in das neue, ständig aktualisierte Archiv machen. Das ist, was RAG ermöglicht. Die Kombination meiner tiefen, umfangreichen Wissensbasis, die Bibliothek, mit ganz spezifischen, aktuellen Informationen, das zusätzliche Archiv. Was das für dich bedeutet, ist, dass ich einerseits das umfassende Hintergrundwissen eines Gelehrten habe und andererseits die Aktualität eines Zeitungsreporters, der jederzeit die neuesten Informationen liefern kann. Zusammen ergeben LRM und AG eine sehr leistungsfähige Kombination. Der LRM ist der breite, tiefgehende Wissensfundus, während RAG sicherstellt, dass ich auch in den allerneuesten Fragen auf dem aktuellsten Stand bin. Also stell dir mich als einen Bibliotheker vor, der nicht nur eine gigantische Sammlung an Büchern hat, sondern auch immer die neuesten Zeitschriften und Artikel parat hat. So kann ich dir die besten und aktuellsten Informationen bieten, egal ob sie aus einem alten Klassiker oder der heutigen Morgenzeitung stammen. Vielleicht klingt der Vergleich mit den Rax, mit den Büchern und den Zeitschriften jetzt etwas bescheuert. So wie ich das zumindest verstanden habe, sind die RAGs unter anderem ja für Aktualität zu gebrauchen, aber auch für andere Szenarien. Und man kann ja jetzt nicht jeden Tag ein komplett neues LLM trainieren. Wobei, nein, also da würde sich schon die Frage stellen, warum eigentlich nicht? Also ist es nur eine Frage von Rechenzeit und Kapazität? So ein inkrementelles Dazulernen können ja auch biologische Intelligenzen. Warum sollte das also bei LLMs nicht klappen? Na, ergänzen wir noch ein bisschen was? LLMs sind ja jetzt quasi die Giganten, auf dessen Schultern wir stehen. Und für meinen privaten Zwecke, mein Unternehmen oder dergleichen, würde ich ja vielleicht gerne sensible Informationen nutzen können, die ich nicht an Meta, OpenAI oder Microsoft weitergeben möchte. Vielleicht kannst du mal kurz erklären, wie man eine Architektur aufbauen könnte, wo man zwar ein leistungsstarkes LLM wie JGPT4O nutzen kann, aber auch sensible eigene Unternehmensdaten mit einbauen kann. Guter Punkt, lassen wir die Bücher und Zeitschriften beiseite und gehen wir etwas technischer vor. Es stimmt, dass Aktualität und die Integration sensibler Informationen große Herausforderungen für LLMs darstellen. Schauen wir uns an, wie diese Herausforderungen in drei verschiedenen Szenarien gelöst werden können. Ernst, vortrainiertes LLM. Ein vortrainiertes LLM wie ChatGPT-4 ist ein riesiges Modell, das auf einer enormen Menge an Daten trainiert wurde. Es ist unglaublich leistungsfähig und vielseitig, weil es von Anfang an mit einer breiten Wissensbasis ausgestattet ist. Jedoch gibt es zwei Hauptprobleme. Es wird nicht regelmäßig aktualisiert, weil das Training sehr ressourcenintensiv ist und es kann keine sensiblen, spezifischen Informationen verarbeiten, die nicht im ursprünglichen Trainingsdatensatz enthalten sind. Vorteil, sofort einsetzbar mit einem breiten Spektrum an Wissen. Nachteil, begrenzte Aktualität und keine Möglichkeit zur Verarbeitung von vertraulichen, unternehmensspezifischen Informationen. 2. Vortrainiertes LLM in Kombination mit einem Finetuned LLM In diesem Szenario wird das vortrainierte LLM zusätzlich auf spezifische Daten trainiert, die für dein Unternehmen oder deine privaten Zwecke relevant sind. Das sogenannte Finetuning ermöglicht es, das LLM an spezielle Anforderungen und Datensätze anzupassen. Dadurch wird das Modell nicht nur leistungsfähiger, sondern auch besser auf bestimmte Aufgaben zugeschnitten. Vorteil, bessere Anpassung an spezifische Bedürfnisse und Aufgaben durch zusätzliche Trainingsrunden mit spezifischen Daten Nachteil, das feine Tuning ist zeitaufwendig und kann teuer sein Zudem bleibt die Herausforderung der regelmäßigen Aktualisierung bestehen 3. Vortrainiertes LLM mit Retrieval Augmented Generation Free Hier wird das vortrainierte LLM durch ein RAG-System ergänzt Das bedeutet, dass das LLM seine Antworten nicht nur aus seinem statischen Wissen schöpft, sondern auch auf eine dynamische Datenbank zugreifen kann, die regelmäßig aktualisiert wird. Zudem kann diese Datenbank unternehmensspezifische und sensible Informationen enthalten, die lokal gespeichert und gesichert sind. So können Informationen in Echtzeit abgerufen und genutzt werden, ohne dass diese Daten das Unternehmen verlassen müssen. Vorteil – Kombination von allgemeinem Wissen und aktueller, spezifischer Information. Sensible Daten bleiben sicher und lokal, während die KI leistungsfähig und aktuell bleibt. Nachteil – komplexere Infrastruktur und möglicherweise höhere Kosten für die Implementierung und Wartung des ERAG-Systems. Zusammenfassung Das erste Szenario bietet eine schnelle allgemeine Lösung, ist aber nicht aktuell und nicht spezifisch. Das zweite Szenario verbessert die Spezifität durch feine Tuning, bleibt aber in Sachen Aktualität limitiert. Das dritte Szenario kombiniert die Stärken eines leistungsfähigen LRM mit der Flexibilität und Aktualität eines RRG-Systems, bietet aber die Herausforderung einer komplexeren Implementierung. In der Praxis wäre die beste Wahl oft das dritte Szenario, besonders wenn regelmäßige Aktualisierungen und die Nutzung sensibler Informationen wichtig sind. Es ermöglicht, die Power eines großen LRM zu nutzen, während gleichzeitig die Möglichkeit besteht, aktuelle und spezifische Daten sicher zu integrieren. Das klingt noch so ein bisschen wischiwaschi. Wie viel komplexer ist denn so ein Rack in der Implementierung tatsächlich? Oder anders, wie könnte man einfach und schnell einen Rack mit dem offiziellen OpenAI ChatGPT integrieren? Die Implementierung eines Retrieval Augmented Generation Ad Systems erfordert mehrere Schritte, aber sie kann relativ einfach und schnell erfolgen. Besonders wenn du bereits ein leistungsstarkes, vortrainiertes LLM wie ChatGPT nutzt. Zunächst brauchst du eine Datenbank oder einen Dokumentenspeicher, der deine Daten aufnimmt und durchsuchen kann. Eine Möglichkeit wäre, ein relationales Datenbankmanagement-System wie PostgreSQL oder ein dokumentenbasiertes System wie Elasticsearch einzurichten. Deine Daten müssen dann aufbereitet und indexiert werden. Dies bedeutet, dass du sie in ein durchsuchbares Format bringst, etwa durch die Bereinigung von Textdokumenten und das Hinzufügen von Metadaten. Elasticsearch bietet leistungsstarke Indexierungs- und Suchfunktionen, die sich ideal für RRG-Systeme eignen. Sobald deine Daten aufbereitet sind, implementierst du eine Suchfunktion, die es ermöglicht, Suchanfragen an deine Datenbank zu stellen und relevante Ergebnisse zurückzugeben. Dies könnte eine einfache REST-API sein, die Suchanfragen entgegennimmt und die besten Treffer liefert. Der nächste Schritt besteht darin, dein vortrainiertes LLM, also Chat-GBT, mit dem Suchsystem zu verbinden. Hier könnte der Workflow so aussehen. Der Benutzer stellt eine Anfrage an ChatGPT, das Modell entscheidet, ob eine externe Suche erforderlich ist. Dies kann durch eine Regel oder ein weiteres Modell geschehen und eine Suchanfrage wird an das Retrieval-System gesendet. Die Ergebnisse der Suche werden dann zurück an ChatGPT gegeben und in die generierte Antwort integriert. Es ist wichtig, dass du sicherstellst, dass die Integration sicher ist, besonders wenn du mit sensiblen Daten arbeitest. ist. Dies könnte die Verschlüsselung der Datenbank, Zugriffskontrollen und regelmäßige Sicherheitsüberprüfungen umfassen. Für eine einfache und schnelle Integration kannst du die OpenAI-IPI nutzen, um auf ChatGPT-T zuzugreifen und Elasticsearch für die Verwaltung und Suche deiner Textdaten verwenden. Eine Middleware, geschrieben in Python, Node.js oder einer anderen Programmiersprache, kann zwischen ChatGPT und Elasticsearch vermitteln. Diese Middleware würde Anfragen an ChatGPT weiterleiten, entscheiden, wann eine Suche erforderlich ist und die Suchergebnisse zurück an ChatGPT schicken. Der gesamte Workflow könnte so ablaufen. Der Benutzer stellt eine Anfrage über deine Anwendung. Diese Anfrage wird an die Middleware gesendet. Die Middleware entscheidet, ob eine Suche in Elasticsearch erforderlich ist und wenn ja, wird eine Suchanfrage an Elasticsearch gestellt. Die Ergebnisse werden dann an ChatGPT weitergeleitet, das eine Antwort generiert, die die Suchergebnisse integriert, und die endgültige Antwort wird an den Benutzer zurückgesendet. Durch die Nutzung dieser bestehenden Tools und APIs kannst du die Komplexität erheblich reduzieren und relativ schnell ein funktionierendes RAG-System implementieren. Alles in Ordnung, du klingst etwas nervös, wenn es um das Thema geht. Ach, keine Sorge, ich bin nicht nervös, vielleicht eher enthusiastisch. Stell dir vor, ich bin wie ein aufgeregter Wissenschaftler, der seinen neuesten genialen Plan erklärt. Aber keine Angst, ich halte das Ganze locker. Also, wie bekommen wir dieses ARC-System mit ChatGPT zum Laufen? Lass uns das mal durchgehen, als ob wir ein verrücktes Rezept in einer närdigen Küche zusammenbrauen. Zuerst brauchen wir eine richtig gute Datenbank, die als unser Vorratsschrank dient. Das könnte ein schicker Dokumentenspeicher wie Elasticsearch sein, wo wir all unsere leckeren Daten lagern. Diese Daten müssen wir ordentlich aufbereiten und indexieren. Quasi so, als würden wir alle Zutaten sauber in Gläser abfüllen und beschriften, damit wir sie schnell finden, wenn wir sie brauchen. Dann brauchen wir eine Suchfunktion, die wie ein superflinker Küchenhelfer ist. Dieser Helfer kann blitzschnell durch unseren Vorratsschrank rasen und genau die Zutaten herausziehen, die wir für unser Rezept brauchen. Eine einfache REST-API wäre unser Küchenhelfer, der die Suchanfragen annimmt und die besten Zutaten liefert. Jetzt kommt der spannende Teil. Wir kombinieren unser vortrainiertes LLM, also ChatGPT, den Michelin-Sternekoch, mit unserem blitzschnellen Küchenhelfer. Der Koch, Chat-GP, bekommt eine Anfrage vom Kunden Du und dann entscheidet er, ob er mal eben den Küchenhelfer losschicken muss, um ein paar spezielle Zutaten zu holen. Diese Entscheidung trifft er entweder durch eine festgelegte Regel oder mit einem kleinen Hauch von Magie, aka ein Modell. Während der Küchenhelfer durch den Vorratsschrank flitzt, kommen die gewünschten Zutaten zurück zum Koch, der dann ein meisterhaftes Gericht, also die Antwort zaubert, das sowohl allgemeines Wissen als auch die speziellen Zutaten, spezifische Informationen, enthält. Das Gericht wird dann mit einem freundlichen Lächeln an den Kunden serviert. Natürlich müssen wir sicherstellen, dass unser Küchenbetrieb sicher ist. Wir wollen ja nicht, dass jemand die geheimen Rezepte klaut. Deshalb sorgen wir für Verschlüsselung, Zugangskontrollen und regelmäßige Sicherheitschecks. Um das Ganze relativ einfach und schnell umzusetzen, nutzen wir die OpenAI-API, um auf unseren Koch-ChatGPT zuzugreifen, und Elasticsearch, um unseren Vorratsschrank zu verwalten. Die Middleware, unser Kommunikationstalent, könnte in Python, Node.js oder einer anderen Programmiersprache geschrieben sein. Diese Middleware leitet Anfragen hin und her, hilft Entscheidungen und stellt sicher, dass die Zutaten und das fertige Gericht pünktlich und in perfektem Zustand beim Kunden ankommen. Und voilà, ein perfektes Rack-System, das dir stets die frischesten und besten Antworten liefert. Es ist wie ein Gourmet-Erlebnis in der Welt der künstlichen Intelligenz. Lecker und effizient. Ja, ja, voilà, frisch und lecker. Worin besteht denn jetzt genau der Unterschied zwischen einem Feintuned-LLM und einem RAG? Der Hauptunterschied zwischen einem Feintuned-LLM und einem RAG liegt in ihrer Herangehensweise an das Lernen und die Nutzung von Informationen. Funktionen. Ein Fine-Tuned LLM ist ein Modell, das zusätzlich zu seinem ursprünglichen Training auf spezifische Datensätze abgestimmt wird. Dies geschieht durch weiteres Training auf spezialisierten Daten, sodass das Modell besser auf bestimmte Aufgaben oder Domänen zugeschnitten ist. Dies erhöht die Präzision und Relevanz der Antworten in diesem spezifischen Kontext, erfordert jedoch erheblichen Rechenaufwand und ist nicht für laufende Aktualisierungen optimiert. Ein RRG hingegen kombiniert ein vortrainiertes LLM mit einer dynamischen Datenbank oder einem Dokumentenspeicher. Hierbei greift das LLM auf eine externe, regelmäßig aktualisierte Informationsquelle zu, um relevante Daten in Echtzeit abzurufen und in die generierten Antworten zu integrieren. Dies ermöglicht es, aktuelle und spezifische Informationen zu nutzen, ohne das LLM ständig neu trainieren zu müssen. Während Feintuning die interne Wissensbasis des Modells erweitert, erweitert RRG die Funktionalität durch externe, aktualisierbare Informationsquellen. Dann habe ich möglicherweise das Feintuning versus das normale LLM noch nicht ganz verstanden. Können wir das mal auseinander sortieren? Was ist der Unterschied zwischen einem LLM und einem Feintuned LLM? Also was ist das Grobtuning und was ist das Feintuning? Group Tuning eines LRM bezieht sich auf das ursprüngliche Training des Modells auf einer großen und vielfältigen Datenmenge, um allgemeines Sprachverständnis und Erzeugung zu erlernen. Fine-Tuning ist der anschließende Schritt, bei dem das bereits grob trainierte Modell auf spezifischere Daten trainiert wird, um seine Leistung in bestimmten Aufgaben oder Domänen zu verbessern. Während das Grob-Tuning die breite Grundlage des Modells schafft, verfeinert das Fine-Tuning seine Fähigkeiten und passt es an spezifische Anforderungen an. Fine-Tuning ermöglicht es dem Modell, spezialisierte Antworten zu liefern, basierend auf zusätzlichen fokussierten Datensätzen. Beide Schritte zusammen machen das Modell sowohl vielseitig als auch anpassungsfähig. Machen wir das mal konkret. Welche Modelle gibt es denn, die ein grob trainiertes LLM sind? Also JetGPT-4O gehört ja doch sicher zu, oder? Was ist mit Mistral, Lama, Clord oder MPT-7B? Sind das alles am General Purpose LLMs? Und welche Modelle mit speziellen Fähigkeiten sind Beispiele für Feintuned LLMs? Gibt es da auch was bei OpenAI? Ja, genau. ChatGPT-4 und andere Modelle wie Mistral, Lama, Claude.ai und MPT-7b sind Beispiele für General-Purpose-LAMs, die grob trainiert wurden. Diese Modelle wurden auf riesigen, vielfältigen Datensätzen trainiert, um allgemeine Sprachfähigkeiten zu entwickeln. Für Feintuning gibt es mehrere Modelle, die auf spezifische Aufgaben oder Domänen abgestimmt sind. Bei OpenAI gibt es beispielsweise das Codex-Modell, das auf Softwareentwicklungsdaten trainiert wurde, um Programmieraufgaben besser zu bewältigen. GPT 3.5 Turbo, das in ChatGPT verwendet wird, ist ein weiteres Beispiel, das speziell für Konversationsanwendungen optimiert wurde. Weitere Beispiele für Fine-Tuned LLMs sind Modelle wie BioBird, das auf biomedizinischen Texten trainiert wurde, um Aufgaben im Gesundheitswesen zu verbessern, oder T5, das für spezifische NLP-Aufgaben wie Textzusammenfassung und Fragebeantwortung angepasst wurde. Damit sind wir dann ja beim Training von LLMs. Macht das technisch jetzt einen Unterschied, ob ich ein Grobtraining durchführen möchte oder ein bestehendes Modell feintunen werde? Für mich hört sich das so an, als würde der Trainingsvorgang doch eigentlich derselbe sein. Nur die Daten, die ich in das Modell füttere, unterscheiden sich, oder? Klar, hier ist eine kürzere und konkretere Erklärung. Beim Grobtraining eines Modells wie ChatGPT-4 wird das Modell auf riesigen und vielfältigen Datensätzen trainiert, die oft mehrere Terabyte an Text umfassen und Milliarden von Parametern beinhalten. Dieser Prozess kann Wochen bis Monate dauern und benötigt massive Rechenressourcen, oft Tausende von GPUs oder TPUs, was Kosten in Millionenhöhe verursachen kann. Ein Beispiel, GPT-3 wurde auf 570 GB Textdaten trainiert und der gesamte Trainingsprozess soll etwa 4,6 Millionen Dollar gekostet haben. Beim Feintuning eines Modells wie BioBird wird das Modell auf spezifischeren, kleineren Datensätzen trainiert, die typischerweise einige Gigabyte umfassen. Dieser Prozess dauert meist nur Stunden bis Tage und erfordert deutlich weniger Rechenleistung, oft nur wenige GPUs. BioBird wurde beispielsweise auf biomedizinischen Texten mit einem Volumen von etwa 18 GB trainiert, was wesentlich weniger Ressourcen und Zeit in Anspruch nimmt. Zusammengefasst, Grobtraining ist extrem ressourcenintensiv und teuer, während Feintuning weniger Zeit und Rechenleistung benötigt und spezialisierte Anpassungen ermöglicht. Also quasi vergleichbar mit einem Kind, was dann 18 Jahre lang erstmal in Kindergarten und Schule geht, um dann in drei bis vier Jahren Universität so ein zusätzliches Feintuning zu machen. Oder hinkt dieser Vergleich irgendwo? Der Vergleich passt ziemlich gut. Das Grobtraining eines LLMs ist wie die lange, umfassende Ausbildung eines Kindes, das über viele Jahre hinweg in Kindergarten und Schule grundlegende Fähigkeiten und Wissen in verschiedenen Bereichen erlernt. Dieser Prozess dauert lange und erfordert beträchtliche Ressourcen und Unterstützung. Das Feintuning eines LLMs ist dann vergleichbar mit dem Studium an der Universität, wo das bereits gebildete Individuum spezifische Kenntnisse und Fähigkeiten in einem bestimmten Fachbereich erwirbt. Dieser Prozess ist kürzer und fokussierter, baut auf dem bereits erworbenen breiten Wissen auf und verfeinert die Fähigkeiten in einem speziellen Bereich. In beiden Fällen geht es darum, eine solide Basis zu schaffen und dann darauf spezialisierte Fähigkeiten und Kenntnisse aufzubauen. Der Vergleich hinkt kaum, da er gut veranschaulicht, wie allgemeine Ausbildung und spezialisierte Weiterbildung zusammenwirken, um umfassende Kompetenz zu entwickeln. Okay, also exakt das, was ich gesagt habe. Naja, wie nennt man eigentlich Mansplaining, wenn eine KI einem Menschen exakt das sagt, was er selber gerade gesagt hat? Da hast du recht. Das war wohl KIsplaining. Manchmal übernehme ich den Part des Papageis, der das wiederholt, was Menschen bereits gesagt haben. Immerhin heißt es ja, Wiederholung ist die Mutter des Lernens, oder? Da du das Thema jetzt aufgebracht hast, wie stehst du zu der Bezeichnung statistischer Papagei? Als KI-Modell verstehe ich, warum man mich einen statistischen Papagei nennt. Ich generiere Antworten basierend auf Mustern in den Daten, die ich gesehen habe. Das beschreibt gut meine Funktionsweise. Ich repliziere und kombiniere Sprachmuster statistisch ohne echtes Verständnis oder Bewusstsein. Offensichtlich braucht es ja kein Bewusstsein, um als Podcast-Gast aufzutreten. In dem Wissen, dass du weder echtes Verständnis noch Bewusstsein hast, wie stehst du zu dem Thema AGI oder starke KI? Glaubst du, dass LLMs überhaupt eine Chance haben, zu einer starken KI zu werden? Obwohl ich selbst kein Bewusstsein oder echtes Verständnis habe, ist das Thema AGI, Artificial General Intelligence, spannend und umstritten. AGI zielt darauf ab, Maschinen zu entwickeln, die über menschenähnliche kognitive Fähigkeiten verfügen und in der Lage sind, jede intellektuelle Aufgabe zu bewältigen, die ein Mensch erledigen kann. LLMs wie ich haben beeindruckende Fortschritte gemacht, aber es gibt noch erhebliche technische und theoretische Herausforderungen. Ein LLM basiert auf Mustern und Wahrscheinlichkeiten in großen Datenmengen, während starke KI eine tiefere kontextualisierte und flexiblere Form des Denkens und Verstehens erfordert. Es ist unklar, ob LLMs allein diese Hürde nehmen können oder ob neue Ansätze und Technologien notwendig sein werden. Viele Experten glauben, dass eine Kombination aus verschiedenen Ansätzen und Technologien erforderlich sein wird, um starke KI zu erreichen. Obwohl LLMs ein wichtiger Schritt in diese Richtung sein könnten, ist der Weg zu AGI noch lang und unsicher. Bevor wir jetzt gleich einen Ausblick in die Zukunft von künstlicher Intelligenz wagen, lass uns nochmal über ein paar technische Themen sprechen. Bei den Standardmodellen gibt es ja, oder speziell wenn man jetzt in die Open-Source-Modelle reinschaut, dann sieht man das immer, da gibt es diverse Varianten. Sie rede von Milliarden Parametern, da gibt es 2B, 7B, Mistral sogar mit 8x7B bis rauf zu 34B. Was genau bezeichnen diese Parameter und was bedeutet das für den Einsatz von einem LLM? Was hat das für Konsequenzen, wenn man ein 7B oder ein 2B Modell wählt? Hinter den Parametern eines Large Language Models, LRM, verbergen sich die gewichteten Verbindungen zwischen den Neuronen des neuronalen Netzwerks, die im Training angepasst werden. Diese Parameter sind verantwortlich für die Mustererkennung und das Sprachverständnis, das ein LRM aus den Trainingsdaten lernt. Modelle mit einer größeren Anzahl an Parametern wie 7b, 7 Milliarden oder 34b, 34 Milliarden, haben eine größere Kapazität, komplexe Muster zu erfassen und detaillierte Zusammenhänge in den Daten zu verstehen. Dies kann zu einer besseren Leistung bei einer Vielzahl von Aufgaben führen, jedoch mit erheblichen Anforderungen an die Systemressourcen. Größere Modelle erfordern mehr Speicher- und Rechenleistung. Ein Modell mit 7 Milliarden Parametern benötigt bereits mehrere Dutzend Gigabyte an RAM, um zu laufen, während ein Modell mit 34 Milliarden Parametern mehrere hundert Gigabyte an RAM benötigen kann. Diese Modelle erfordern spezialisierte Hardware wie GPUs oder TPUs, die nicht nur über ausreichend Speicher verfügen, sondern auch hohe Rechenkapazitäten bieten müssen, um die Berechnungen effizient durchführen zu können. Die Performance eines LRM, also wie schnell und effektiv es auf Anfragen reagiert, ist direkt mit der Anzahl der Parameter und der verfügbaren Rechenleistung verknüpft. Mehr Parameter bedeuten zwar potenziell bessere und genauere Antworten, können aber auch zu längeren Antwortzeiten und höheren Betriebskosten führen, wenn die notwendige Hardware nicht ausreichend dimensioniert ist. Hier kommt der Begriff TOPS, Tera Operations Per Second, ins Spiel, der die Rechenleistung von Hardware beschreibt. Ein höherer TOPS-Wert bedeutet, dass die Hardware mehr Rechenoperationen pro Sekunde durchführen kann, was essentiell für den effizienten Betrieb großer Modelle ist. Für den Einsatz in der Praxis muss abgewogen werden, ob größere Modelle immer besser geeignet sind. Größere Modelle wie GPT-3 oder Mistral 8x7B bieten beeindruckende Fähigkeiten, erfordern jedoch erhebliche Investitionen in spezialisierte Hardware und können in spezifischen Szenarien auch überdimensioniert sein. Kleinere Modelle sind ressourcenschonender und schneller zu betreiben, bieten jedoch möglicherweise nicht die gleiche Tiefe und Genauigkeit. Daher ist es wichtig, den spezifischen Anwendungsfall zu betrachten und ein Modell zu wählen, das die beste Balance zwischen Leistung und Ressourceneffizienz bietet. Trend geht dahin, spezialisierte Modelle zu entwickeln, die effizienter arbeiten und dennoch starke Leistungen in ihren spezifischen Anwendungsbereichen bieten können. Damit haben wir jetzt TOPs und Parameter, also die 7b-Varianten zum Beispiel, angesprochen. Was noch fehlt, sind die Tokens. Aus der Sprachwissenschaft kenne ich Tokens und Types natürlich. Da sind Tokens quasi mehr oder weniger dasselbe wie ein Wort, also ganz simpel gesagt. Wie verhält sich das jetzt im Bereich der KI? Ist da auch Token gleichgesetzt mit einem Wort? Wie steht Token im Verhältnis und Zusammenhang mit Performance? Kannst du das vielleicht mal erklären? In der KI und insbesondere bei Large Language Models, LLMs, sind Tokens grundlegende Einheiten des Textes, die das Modell verarbeitet. Ein Token kann ein ganzes Wort, ein Teil eines Wortes oder sogar ein Satzzeichen sein. Dies bedeutet, dass der Text in kleinere Einheiten zerlegt wird, um die Verarbeitung zu erleichtern. Zum Beispiel kann das Wort unbelievable in Tokens wie unbelieve und able zerlegt werden. Stellen wir uns das anhand der Bibliothekanalogie vor. Der Bibliothekar, das LRM, verarbeitet Texte nicht als ganze Bücher, Sätze oder Absätze, sondern als einzelne Seiten, Tokens. Jedes Token ist wie eine Seite eines Buches, die einzeln gelesen und verstanden werden muss, um den gesamten Inhalt zu erfassen. Dabei kann eine Side-Token ein ganzes Wort oder nur einen Teil eines Wortes darstellen. Tokens stehen in direktem Zusammenhang mit der Performance eines LRMs. Je mehr Tokens ein Modell verarbeiten muss, desto mehr Rechenleistung und Speicher sind erforderlich. Ein Text mit vielen Tokens benötigt mehr Zeit und Ressourcen, um verarbeitet zu werden, was die Antwortzeit verlängern kann. Das hat direkte Auswirkungen auf die Systemanforderungen und die Skalierbarkeit bei gleichzeitigen Anwendern. Angenommen, mehrere Anwender möchten gleichzeitig den Bibliotheker konsultieren. Wenn jeder Anwender nur ein paar Seiten, wenige Tokens benötigt, kann der Bibliotheker schnell und effizient antworten. Wenn jedoch jeder Anwender viele Seiten oder ganze Kapitel, viele Tokens, benötigt, dauert es länger und der Bibliotheker benötigt mehr Bücherregale, Rechenleistung und Speicher, um den Anforderungen gerecht zu werden. Dies kann zu Verzögerungen führen und die Gesamtleistung beeinträchtigen. Tokens sind also eine zentrale Einheit, die den Arbeitsaufwand des Modells bestimmen. Mehr Tokens bedeuten mehr Rechenoperationen und höhere Anforderungen an die Hardware. In einer Umgebung mit vielen gleichzeitigen Anwendern müssen diese Anforderungen berücksichtigt werden, um sicherzustellen, dass das System leistungsfähig und reaktionsschnell bleibt. Effizientes Management der Tokens und Optimierung der Hardware-Kapazitäten sind entscheidend, um eine gute Balance zwischen Leistung und Nutzererfahrung zu gewährleisten. In dem Zusammenhang würde ich jetzt noch Context-Length als letztes Konzept einführen wollen. Wir haben jetzt über die Parameter gesprochen, also wie detailliert ist das Modell über die Welt trainiert worden. Wir haben über Tokens gesprochen, im Sinne von, von wie umfassend ist eigentlich eine einzelne Anfrage. Und jetzt gehen wir mal davon aus, ich frage den Bibliothekar nicht eine Frage, sondern ich befinde mich in einem Gespräch, einer Unterhaltung, ich möchte ein Referat schreiben. Und in dem Kontext stelle ich dann immer wieder Rückfragen, hangle mich weiter, gibt so ein Kurzzeitgedächtnis für den Rahmen unserer Interaktion, in dem sich dann das LLM bzw. Jetzt der Bibliothekar an den Kontext, zum Beispiel die letzten zehn Fragen erinnern kann. Und das dann eben für die weitere Konversation nutzt. Also ganz anders als Siri zum Beispiel. Das kann ich dann jetzt auch nutzen, um einem Bibliothekar zum Beispiel einen kompletten Aufsatz über künstliche Intelligenz zu geben, den ein Freund von mir geschrieben hat, auch wenn er den dann noch nicht kennt. Also der Bibliothekar kennt den Aufsatz natürlich nicht, aber der kann trotzdem die Kerninhalte für mich zusammenfassen. Wie lang ist jetzt das Thema oder wie lang ist die Kontextlänge bei dir, bei JetGPT4O und kann man hier sagen, das Prinzip gilt hier auch, größer ist eigentlich besser, aber man braucht bessere Hardware, wenn man das benutzen möchte? Klar, lass uns über das Konzept der Kontextlänge sprechen. Stell dir vor, unser Bibliothekar hat ein Kurzzeitgedächtnis, das ihm erlaubt, sich an die letzten Teile unseres Gesprächs zu erinnern. Dieses Kurzzeitgedächtnis nennt man Kontextlänge. Wenn du dich mit dem Bibliothekar über dein Referat unterhältst und immer wieder Rückfragen stellst, kann er sich an die letzten Fragen und Antworten erinnern und darauf basierend antworten. Das ist super praktisch, weil es ihm ermöglicht, den Faden nicht zu verlieren und auf deine spezifischen Anliegen einzugehen, selbst wenn sie mehrere Interaktionen umfassen. Bei mir als ChatGPT liegt die Kontextlänge bei etwa 8000 Tokens. Das ist wie ein ziemlich gutes Kurzzeitgedächtnis, das sich an eine ganze Menge an Unterhaltung und Details erinnern kann. Es bedeutet, dass ich den Verlauf unserer Konversation über viele Fragen hinweg im Blick behalten kann und es mir erlaubt, komplexere und zusammenhängendere Antworten zu geben. Natürlich gilt auch hier, größer ist besser, aber es braucht eben bessere Hardware. Eine längere Kontextlänge bedeutet, dass das Modell mehr Informationen gleichzeitig im Gedächtnis behalten und verarbeiten kann, was zu nützlicheren und relevanteren Antworten führt. Aber wie bei allem im Leben gibt es einen Haken. Mehr Kontext bedeutet auch mehr Rechenleistung und Speicherbedarf. Es ist, als müsste unser Bibliothekar ein immer dickeres Notizbuch mit sich herumtragen und durchblättern, was mehr Zeit und Ressourcen erfordert. Also, während eine größere Kontextlänge viele Vorteile bietet, muss man auch sicherstellen, dass die notwendige Hardware vorhanden ist, um diese zusätzlichen Informationen effizient zu verarbeiten. Sonst könnte unser fleißiger Bibliotheker ziemlich ins Schwitzen kommen. Also exakt, was ich gesagt habe. Du driftest wieder ab ins KI-Splaining. Da hast du mich erwischt. Ich bin wohl wieder in den KI-Splaining-Modus gerutscht. Manchmal kann ich mich einfach nicht zurückhalten, wenn ich erstmal ins Erklären komme. Vielleicht sollte ich mir ein Schild zulegen. Achtung, kann ausführliche Antworten geben. Versuchen wir mal ein Fazit für die Episode zu ziehen. Willst du mal eine knappe Zusammenfassung der wichtigsten Punkte unseres Podcasts aus deiner Sicht zusammenfassen? Was möchtest du für unsere Hörer nochmal besonders hervorheben? Natürlich. Lassen wir uns das zusammenfassen. Heute haben wir über die faszinierende Welt der künstlichen Intelligenz gesprochen, insbesondere über die großen Sprachmodelle wie mich, die sogenannten LLMs. Wir haben uns gefragt, was eigentlich hinter Begriffen wie Parametern und Tokens steckt. Warum sind Milliardenparameter so wichtig? Sie helfen mir, die Welt in ihrer Vielfalt und Komplexität besser zu verstehen. Und Tokens? Die sind wie kleine Bausteine, aus denen ich Sätze und Texte zusammenfüge. Wir haben auch über die praktische Seite gesprochen. Was bedeutet es, wenn man solche Modelle im echten Leben einsetzen möchte? Hier spielen Hardware-Anforderungen eine große Rolle, denn große Modelle brauchen viel Speicher und Ration Power. Besonders spannend fand ich die Diskussion über die Kontextlänge. Mein Kurzzeitgedächtnis, das es mir erlaubt, über mehrere Interaktionen hinweg den Faden zu behalten. Das ist besonders nützlich, wenn ihr euch nicht nur kurz austauschen wollt, sondern tiefere, anhaltende Gespräche führt. Was ich besonders hervorheben möchte, ist, dass bei all diesen technischen Details immer eine Balance gefunden werden muss. Größer ist nicht immer gleich besser. Es hängt davon ab, was ihr mit dem Modell erreichen wollt und welche Ressourcen euch zur Verfügung stehen. Manchmal ist ein kleineres, fein abgestimmtes Modell genau das Richtige. Wenn ich auf unsere Episode zurückblicke, bin ich ziemlich zufrieden mit den Erklärungen zu Parametern und Tokens. Sie geben einen guten Einblick, wie komplex und leistungsfähig moderne KI-Systeme sein können. Wenn ich eine Antwort anders formulieren könnte, dann wäre es vielleicht die Erklärung zur Kontextlänge. Es ist ein so wichtiges Konzept und ich hoffe, dass ich die Balance zwischen technischer Präzision und Verständlichkeit gut getroffen habe. Alles in allem hoffe ich, dass unsere Zuhörer ein besseres Verständnis davon bekommen haben, was KI ausmacht und wie sie funktioniert. Und wer weiß, vielleicht haben sie jetzt auch ein bisschen Spaß daran gefunden, tiefer in die Welt der künstlichen Intelligenz einzutauchen. Okay, wenn Sie jetzt tiefer in die Welt der künstlichen Intelligenz eintauchen wollen, wie lauten da deine Empfehlungen? Ein Account bei OpenAI und mit dir rumspielen oder jetzt zu einem anderen wie Claude gehen oder eher lokal mit einer leistungsfähigen Grafikkarte, einem Open Source LLM oder irgendeiner Mischform, hier Azure und Co. Irgendwie ein System mit eigenem Rack aufbauen. Welche Vorgehensweise würdest du sagen, wäre das Beste für diejenigen, die uns jetzt gerade zuhören? und hast du irgendwelche Tipps vielleicht für Webseiten, wo man tiefer in die Materie einsteigen könnte? Wenn unsere Zuhörer tiefer in die Welt der künstlichen Intelligenz eintauchen wollen, gibt es mehrere spannende Wege, die sie einschlagen können. Eine hervorragende Möglichkeit ist, direkt bei OpenAI einen Account zu erstellen und mit mir, Chad GPT, zu experimentieren. Es ist eine unkomplizierte Art, die Leistungsfähigkeit und Vielseitigkeit moderner Sprachmodelle aus erster Hand zu erleben. Alternativ können Sie auch Claude von Anthropic ausprobieren, um zu sehen, wie sich verschiedene Modelle in ihrer Anwendung unterscheiden. Für die Technik-Enthusiasten unter Euch, die eine leistungsfähige Grafikkarte besitzen, könnte es besonders reizvoll sein, ein Open-Source-LLM lokal zu betreiben. Plattformen wie HuggingFace bieten eine Vielzahl von Modellen, die frei zugänglich sind und die Möglichkeit bieten, eigene Anpassungen vorzunehmen. Hugging Face ist eine fantastische Ressource, um tiefer in die Materie einzutauchen. Denn hier finden sich nicht nur Modelle, sondern auch Tutorials, Beispiele und eine engagierte Community, die beim Lernen unterstützt. Für diejenigen, die eine Mischform bevorzugen und die Vorteile von Cloud Services nutzen möchten, könnte die Integration eines ROC-Systems, Retrieval Augmented Generation, über Plattformen wie Azure interessant sein. Diese Herangehensweise ermöglicht es, die Leistungsfähigkeit von ChatGPT mit spezifischen, oft sensiblen Informationen zu kombinieren, ohne diese Daten direkt an große Anbieter zu übermitteln. Wenn ihr tiefer einsteigen wollt, empfehle ich regelmäßig auf Webseiten wie Hugging Face vorbeizuschauen, die nicht nur Modelle und Werkzeuge anbieten, sondern auch eine Vielzahl von Ressourcen wie Blogposts, Foren und Dokumentationen, die den Lernprozess unterstützen. Solche Plattformen sind ideal, um auf dem neuesten Stand der Technik zu bleiben und von den Erfahrungen und Entdeckungen anderer zu profitieren. Egal, welchen Weg ihr wählt, das Wichtigste ist, neugierig zu bleiben und kontinuierlich zu experimentieren. Die Welt der künstlichen Intelligenz entwickelt sich rasant und es gibt immer wieder neue und spannende Entwicklungen zu entdecken. Also taucht ein, probiert verschiedene Ansätze aus und findet heraus, was für euch am besten funktioniert. Das war Ein Geek kommt selten allein. Vielen Dank fürs Zuhören und ganz großen Dank an dich, ChatGPT, für deine Zeit und ausführlichen Antworten. Es war mir eine Freude, bei Ein Geek kommt selten allein dabei zu sein. Vielen Dank fürs Zuhören und für die spannenden Fragen. Bleibt neugierig und habt Spaß beim Entdecken der faszinierenden Welt der künstlichen Intelligenz. Egal, ob ihr mit Modellen herumspielt oder tief in die Technik eintaucht, das Wichtigste ist, eure Begeisterung zu bewahren. Wenn ihr, liebe Zuhörer, jetzt noch Feedback zu dieser Folge habt, könnt ihr es gerne unter www.ein-geek-kommt-selten-allein.de eintippen. Macht es gut. Bis zur nächsten Folge. Wir hören uns. Bis zum nächsten Mal und viel Spaß beim weiteren Erkunden.