Knowledge Science - Alles über KI, ML und NLP

Send us Fan Mail In dieser Episode sprechen wir mit Toine Diepstraten und Henri Hagenow über das Hosting von GPUs, sowie das Zusammenstellen von High Performance Computern für das Deep Learning.  Die AIME GmbH (https://www.aime.info/)  hat sich auf den Bau und das Bereitstellen solcher HPC Cluster spezialisiert, entwickeln aber auch Cloud Software zum Trainieren und Betreiben von KI Modellen, wie...

Send us Fan Mail In dieser Episode geben wir einen kurzen Überblick über ausgewählte spannende wissenschaftliche Veröffentlichung der KW27. Vor allem sind es folgende vier Papers, die wir für diese Sendung ausgewählt haben: - Ding et. al.: LONGNET: Scaling Transformers to 1,000,000,000 Tokens https://arxiv.org/pdf/2307.02486.pdf - Chang et. al.: A Survey on Evaluation of Large LanguageModels (http...

Send us Fan Mail In dieser Episode sprechen wir über die Einschränkungen von Large Language Modellen, insbesondere die Kontextlänge der verschiedenen Architekturen. Welche Möglichkeiten gibt es die Eingabelänge und Verarbeitungslänge von LLMs zu vergrößern und warum sollte man dies wollen? Hören Sie rein. Support the show

Send us Fan Mail In dieser Episode tauchen wir in die Welt der Vektor-Datenbanken mit Philip Vollet, Head of Developer Growth by Weaviate, ein. Wir sprechen darüber, was Vector-Datenbanken sind, welche innovativen Projekte mit Weaviate realisiert werden und wie KI zu einem gesellschaftlichen Wandel führt. Außerdem sprechen wir über den Aufbau von Teams und wie wichtig diese in dem momentanen Wande...

Send us Fan Mail In der heutigen Sendung sprechen wir über die Risiken, die durch eine generelle KI für die Menschheit entstehen kann. Welche Maßnahmen sind zu ergreifen? Wo stehen wir gerade? Würde ein Moratorium, mit dem Ziel alle KI-Entwicklungen zu stoppen, helfen? Diese Fragen betrachten wir in der heutigen Sendung. Support the show

Send us Fan Mail In der heutigen Sendung steigen wir noch einmal in die Welt der multimodalen Modelle ein. Diesmal sprechen wir über das Bindeglied zwischen dem uni-modalen Bildverarbeitungsmodell und dem uni-modalen Sprachverarbeitungsmodell, den Q-Former. Q-Former sind eine effiziente Methode, das Training von multimodalen Modellen durchzuführen. Wir diskutieren die Architektur, Vorteile, Nachte...

Send us Fan Mail In der heutigen Sendung steigen wir in die Welt der multimodalen Modelle ein, die es ermöglichen, nicht nur Textinformationen, sondern auch Bildinformationen von Sprachmodellen verarbeiten zu lassen. Link zum Paper: Zhu et. al.: MiniGPT-4: Enhancing Vision-Language Understanding with Advanced Large Language Models - https://arxiv.org/abs/2304.10592 -- Sponsor der Sendung -- https:...

Send us Fan Mail In der heutigen Sendung greifen wir das Thema Alignment von Sprachmodelle noch einmal auf. Wir sprechen über den Ansatz "Dromedary - Principle Driven Self Alignment of LLMs" als Beispiel einmal durch. Hören Sie rein. Link zum Paper:  Sun et. al.: Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision - https://arxiv.org/abs/2305.03...

Send us Fan Mail In der heutigen Sendung sprechen wir über das Alignment von großer Sprachmodelle. Das Alignment bestimmt, wie gut Sprachmodelle menschliche Absichten interpretieren und darauf adäquat reagieren. Hören Sie rein! Support the show

Send us Fan Mail In der heutigen Sendung sprechen wir mit Dr. Tristan Behrens, er ist Experte für künstliche Intelligenz und ein Pionier bei der Verwendung von generativen Sprach- und Diffusormodellen für die Erstellung von Musik. Als Artist in Residence des KI-Salons Heilbronn kreiert er Exponate, die das Zusammenspiel zwischen KI und Musik aufzeigen.  Er gibt uns Einblicke, wie KI verwendet werd...

Send us Fan Mail In der heutigen Sendung sprechen wir mit Andreas Köpf einer der vier Initiatoren des Open-Source-Projekt OpenAssistent.  Das Projekt hat zum Ziel, einen chatbasierten Assistenten zu entwickeln, der die Aufgaben, die er löst, auch versteht. Dabei kann er mit anderen Systemen interagieren und dynamisch Informationen einholen. Andreas gibt uns einen Einblick hinter die Kulissen der O...

Send us Fan Mail In dieser Episode reden wir über das Paper „Generative Agents: Interactive Simulacra of Human Behavior“ von Park et. al. Wir zeigen auf, wie die Autoren 25 generative Agenten mit der Hilfe von Sprachmodellen erschaffen haben. Diese Agenten agieren in einer virtuellen Spielwelt untereinander. Ferner diskutieren wir, wofür solche Simulationen verwendet werden können. Link zum Paper:...

Send us Fan Mail In dieser Episode reden wir darüber, ob autonome generative Agenten der Weg zur generellen KI sind und ob wir gerade den nächsten Hype im Bereich der Sprachmodelle erleben. Wir beleuchten die Projekte Auto-GPT und BabyAGI, die momentan bei GitHub einen starken Fokus auf sich ziehen. Support the show

Send us Fan Mail In diese Episode reden wir über das spannende Paper „Sparks of Artificial General Intelligence: Early experiments with GPT-4“.  Es stellt sich die Frage, ob GPT-4 erste Anzeichen einer starken KI (Artificial General Intelligence) aufweist.  (Link zum Paper: https://arxiv.org/pdf/2303.12712.pdf) Support the show

Send us Fan Mail In dieser Episode reden wir über die Demokratisierung von großen Sprachmodellen. Insbesondere die Technologien, wie Modelle kompakt trainiert werden können. Support the show

Send us Fan Mail In dieser Episode reden wir über das Release des neuen Models GPT-4 von openAI. Sind wir an einem Scheidepunkt mit diesem Model angekommen? Diese Frage klären wir in der heutigen Sendung. Support the show

Send us Fan Mail In dieser Woche wollen wir darüber sprechen, wie durch die Zusammenführung von Bild und Textdaten in einem Prompt Sprachmodelle in ihrer Leistung gesteigert werden können. Im Detail gehen wir auf das Paper von Zhang et. al. Multimodal Chain-of-Thought Reasoning in Language Models ein. Support the show

Send us Fan Mail In dieser Woche wollen wir darüber diskutieren, ob Large Language Modelle  die Fähigkeit zum Argumentieren haben und ob diese Fähigkeit zur Verbesserung der  Leistung solcher Netze genutzt werden kann. Support the show

Send us Fan Mail Im Gegensatz zur Sendung der letzten Woche, sprechen wir heute über Sustainability of AI. Wir gehen auf die Abgrenzung ein und zeigen Beispiele und Verfahren auf, wie es zu einer nachhaltigen KI kommen kann. Bleiben Sie dran. Support the show

Send us Fan Mail In der heutigen Episode sprechen wir über "Sustainable AI". Dabei gehen wir der Frage nach, wie nachhaltig kann AI sein und kann KI die Nachhaltigkeit unterstützen. Hören Sie rein. Support the show

Send us Fan Mail In der heutigen Sendung wollen wir tiefer auf InstructGPT eingehen. Instruct GPT ist der Trainingsprozess, der auch bei ChatGPT angewandt wird.  Support the show

Send us Fan Mail In der heutigen Sendung werden wir über die neusten Entwicklungen von Sprachmodellen sprechen. Insbesondere über das Aufsehen über ChatGPT und Reinforcement Learning from Human Feedback. Support the show

Send us Fan Mail In dieser Woche wollen wir wieder mit einer kleinen Miniserie zum Thema Prompting starten. Prompting ist ein faszinierendes Paradigma, große Modelle an die eigenen Anforderungen anzupassen, ohne die Modelle explizit trainieren zu müssen. Hören Sie rein. Support the show

Send us Fan Mail Nachdem wir letzte Woche über die automatische Spracherkennung gesprochen haben, möchten wir in dieser Sendung gerne über den Prozess der Sprecheridentifikation (Diarization) sprechen. Wir gehen darauf ein, wofür es verwendet werden kann. Welche Schritte notwendig sind und wie dies mit maschinellen Lernen bzw. Deep Learning gelöst werden kann. Hören Sie rein. Support the show

Send us Fan Mail In der heutigen Sendung sprechen wir über das ASR Modell Whisper, dass uns das Leben durch Spracherkennung erleichtern soll. Wir gehen auf die Grundüberlegungen des Papers ein und beschreiben den Ansatz von Weak Supervision und dessen Vorteile in diesem Kontext. Hören Sie rein. Support the show