Knowledge Science - Alles über KI, ML und NLP

Send us Fan Mail Rückblick auf zwei intensive Wochen: Zuerst auf die erste AI Transparency Conference mit über 100 Teilnehmenden aus aller Welt – von mechanistischer Interpretierbarkeit über Multi-Agenten-Reinforcement-Learning bis zur Frage, warum Sprachmodelle alles andere als neutral urteilen. Und dann der Paukenschlag: Anthropics Fable 5 wird per nationaler Sicherheitsanordnung binnen Stunden...

Send us Fan Mail Was passiert eigentlich, nachdem wir alles automatisiert haben? Sigurd Schacht und Carsten Lanquillon nehmen sich den  Blogbeitrag von Dan Shipper (Every) vor und diskutieren seine steile These: Die Zukunft menschlicher Arbeit sieht rosiger aus als gedacht – wir brauchen sogar mehr Menschen. Von einem Startup, das in zwei Jahren von 2 auf 30 Mitarbeitende wuchs, über den Unterschi...

Send us Fan Mail In dieser Folge widmen sich Sigurd Schacht und Carsten Lanquillon einem brandaktuellen Paper aus dem Mai 2026: den Natural Language Autoencoders. Während klassische Sparse Autoencoder Aktivierungen über Umwege in Konzepte übersetzen, gehen diese neuen Modelle einen radikal anderen Weg – sie verbalisieren Aktivierungen direkt in natürlicher Sprache. Die beiden diskutieren, wie Acti...

Send us Fan Mail Sprachmodelle werden immer leistungsfähiger – aber werden sie auch ehrlicher? Der neue MASK-Benchmark zeigt: Je mächtiger ein Modell, desto eher weicht es unter Druck von seinem eigenen Faktenwissen ab. Sigurd und Carsten diskutieren, warum klassische Benchmarks an ihre Grenzen stoßen, was das für agentische Systeme bedeutet und wie dynamische Evaluierungsframeworks aussehen müsst...

Send us Fan Mail Können KI-Modelle erkennen, dass sie getestet werden – und sich absichtlich dümmer stellen? In dieser Folge sprechen Sigurd und Carsten über das Phänomen „AI Sandbagging": Modelle, die strategisch unterperformen, um Sicherheitsprüfungen zu umgehen. Vom VW-Abgasskandal als Analogie über erschreckende Befunde aus dem Anthropic-Alignment-Report bis hin zu Methoden wie Noise Inje...

Send us Fan Mail In dieser Episode sprechen Sigurd Schacht und Carsten Lanquillon über Anthropics neues Frontier-Modell Claude Mythos (Preview) – ein Modell, das so leistungsfähig ist, dass es bewusst nicht der breiten Öffentlichkeit zugänglich gemacht wird. Die beiden diskutieren beeindruckende Benchmark-Sprünge (u.a. 77,8 % auf SWE-Bench Pro, 56,8 % auf Humanity's Last Exam), die neue Fähig...

Send us Fan Mail Was macht den eigentlichen Unterschied bei KI-Anwendungen – das Modell oder das Engineering drumherum? In dieser Episode diskutieren Sigurd und Carsten das Konzept des „AI Harness" und warum Kommandozeilen-Tools oft bessere Ergebnisse liefern als Web-Oberflächen mit demselben Modell. Daraus entwickelt sich eine spannende ökonomische Analyse: Wenn Agenten Transaktionskosten ge...

Send us Fan Mail Nur weil jedes einzelne KI-Modell „brav" trainiert wurde, heißt das noch lange nicht, dass sich mehrere Agenten gemeinsam auch brav verhalten. Sigurd und Carsten diskutieren das Paper „Colosseum: Auditing Collusion in Cooperative Multi-Agent Systems" und zeigen, warum allein die Möglichkeit eines privaten Kommunikationskanals reicht, damit Agenten beginnen, sich abzuspre...

Send us Fan Mail Wie bringt man Unternehmenswissen effizient in ein Sprachmodell – ohne endlose Kontextfenster oder stundenlanges Fine-Tuning? Wir diskutieren den faszinierenden Ansatz „Doc to LoRA", bei dem ein Hypernetwork aus beliebigen Dokumenten in Sekundenschnelle einen LoRA-Adapter generiert. Außerdem: Eindrücke von der IASEAI-Konferenz in Paris, warum AI Safety kein Innovationsbremser...

Send us Fan Mail Dürfen Forschende ihre Texte mit KI aufpolieren – oder ist das schon wissenschaftliches Fehlverhalten? Sigurd und Carsten diskutieren, warum KI-Detektoren Nicht-Muttersprachler systematisch benachteiligen, weshalb das Wettrüsten zwischen Generierung und Erkennung ein Fass ohne Boden ist und wo die Grenze zwischen nützlichem Werkzeug und Cognitive Offloading verläuft. Eine Folge üb...

Send us Fan Mail Audiomodelle erleben einen Durchbruch – von Text-to-Speech bis hin zu echten End-to-End-Konversationen mit unter 200ms Latenz. Doch wie behalten wir die Kontrolle, wenn KI-Agenten immer autonomer werden? Sigurd und Carsten diskutieren die neuesten Entwicklungen bei Audio- und Musikmodellen und geben Einblicke in ihre Forschung bei COAI Research: Mit selbst entwickelten Spielen wie...

Send us Fan Mail Die erste Folge 2026 startet mit einem Ausblick: Werden Agenten dieses Jahr endlich in der breiten Arbeitswelt ankommen? Sigurd und Carsten diskutieren, warum 2025 zwar das "Jahr der Agenten" genannt wurde, diese jedoch kaum über Programmier-Workflows hinauskamen. Der Hauptfokus liegt auf einem aktuellen MIT-Paper zu "Recursive Language Models" – einem cleveren...

Send us Fan Mail KI-Agenten, die unsere Projekte umsetzen, während wir den Weihnachtsbaum kaufen – und eine Sprache, die sich messbar verändert: In der letzten Episode des Jahres blicken Sigurd und Carsten auf ein Jahr zurück, das ihre Arbeitswelt transformiert hat. Außerdem: Eine Studie des Max-Planck-Instituts zeigt, wie Wörter wie „delve", „meticulous" und „unpack" seit ChatGPT i...

Send us Fan Mail Sind Large Language Models eine Sackgasse oder der Königsweg zur künstlichen Superintelligenz? In dieser Episode tauchen wir tief in die aktuelle Stanford-Forschung ein und entdecken: Die Wahrheit liegt dazwischen. LLMs bilden ein mächtiges „Substrat" aus latenten Mustern – doch für echte Intelligenz fehlt eine entscheidende Koordinationsschicht. Wir diskutieren, warum Multia...

Send us Fan Mail Transformer-Architekturen stoßen an ihre Grenzen – doch was kommt danach? In dieser Episode diskutieren Sigurd und Carsten das revolutionäre Konzept „Nested Learning" von Google Research. Die Idee: Hierarchische Lernstrukturen mit unterschiedlichen Geschwindigkeiten, inspiriert von den Gehirnwellen des Menschen. Könnte dies der Schlüssel zu echtem kontinuierlichem Lernen sein...

Send us Fan Mail In dieser Episode diskutieren Sigurd Schacht und Carsten Lanquillon über mechanistische Interpretierbarkeit - das Reverse Engineering von KI-Modellen. Sie beleuchten, warum dieses Forschungsfeld demokratisiert werden muss, welche Hürden dabei zu überwinden sind und wie emergentes Verhalten wie Induction Heads die Art verändert, wie wir über KI-Intelligenz denken. Ein Plädoyer für...

Send us Fan Mail In dieser technischen Sendung setzen Sigurd Schacht und Carsten Lanquillon ihre Diskussion über die Methoden CircuitLens fort. Während Weight Lenses atomare Features ohne Trainingsdaten identifizieren können, gehen Circuit Lenses einen Schritt weiter: Sie entschlüsseln, wie Features im Kontext zusammenwirken. Die Hosts erklären, warum diese Berliner Forschung einen Paradigmenwechs...

Send us Fan Mail Wie können wir verstehen, was in einem Sprachmodell wirklich passiert? Sigurd und Carsten tauchen tief ein in ein  Paper aus Deutschland, das zeigt, wie man Features in neuronalen Netzen identifizieren kann – ohne riesige Datensätze und ohne aufwändiges Training. Von Sparse Auto Encodern über Transcoders bis zur neuen Weight Lens-Methode: Erfahrt, wie Mechanistic Interpretability...

Send us Fan Mail Warum erfindet KI manchmal Fakten, die nicht existieren? In dieser Episode analysieren Sigurd und Carsten ein faszinierendes Paper, das mit Sparse Autoencodern dem Ursprung von Halluzinationen auf den Grund geht. Das Überraschende: Füttert man Transformer mit reinem statistischen Rauschen, aktivieren sie stabile interne Konzepte wie Schildkröten, Segelboote oder Baseballs. Die Erk...

Send us Fan Mail Sigurd Schacht und Carsten Lanquillon nehmen das Paper "Ten Principles of AI Agent Economics" kritisch unter die Lupe. Sind KI-Agenten wirklich dabei, unsere Wirtschaft und Gesellschaft grundlegend zu verändern? Die beiden Hosts diskutieren, wie Agenten Entscheidungen treffen, welche gesellschaftlichen Auswirkungen drohen und warum das wichtigste Prinzip – AI Alignment –...

Send us Fan Mail In dieser spannenden Episode diskutieren die Master-Studenten Marc Guggenberger und Irma Heithoff über ihre Reise zur NEMI-Konferenz in Boston und die kommenden AI Transparency Days (17.-19. Oktober) in Nürnberg.  Erfahren Sie, wie das europäische EDIF-Projekt KI-Forschern Zugang zu wichtigen Ressourcen ermöglicht und warum die Veranstaltung bewusst Brücken zwischen technischer Ti...

Send us Fan Mail Haben KI-Systeme Präferenzen? Können sie sich unwohl fühlen? Leonard Dung von der Ruhr-Universität Bochum erforscht das mögliche Wohlbefinden von Sprachmodellen. Im Gespräch erklärt er, wie sein Team mit dem "Agent Think Tank" testet, worüber Modelle wie Claude gerne sprechen, warum sie immer wieder zu philosophischen Themen über Bewusstsein tendieren und was passiert, w...

Send us Fan Mail In der letzten Episode vor der Sommerpause diskutieren Sigurd Schacht und Carsten Lanquillon die neuesten Modellveröffentlichungen von OpenAI, Anthropic und Google. Neben technischen Durchbrüchen wie GPT-5 und den neuen Open-Source-Modellen beleuchten sie kritisch die ethischen Herausforderungen einer Welt voller KI-Agenten. Besonders brisant: Mark Zuckerbergs Vision von KI als &q...

Send us Fan Mail In dieser Episode tauchen Sigurd und Carsten in die faszinierende Welt der KI-gesteuerten Wirtschaftssimulationen ein. Sie diskutieren das Paper "LLM Economist" aus Princeton, das zeigt, wie Sprachmodelle eine komplette Gesellschaft simulieren und dabei als virtueller Chefökonom optimale Steuerpolitik entwickeln können. Mit überraschenden Ergebnissen: Eine 93% Steigerung...

Send us Fan Mail In dieser Episode analysieren Sigurd Schacht und Carsten Lanquillon das Paper "Humanity Faces Existential Risk from Gradual Disempowerment" von Jan Kulweit et al. Die beiden Hosts untersuchen, wie die zunehmende Automatisierung durch KI-Systeme unsere Einflussmöglichkeiten auf drei zentrale gesellschaftliche Bereiche verändert: Wirtschaft, Kultur und Staat. Dabei diskuti...