Prompt und Antwort

Eine Inferenz-Engine, die genau ein Modell ausführen kann: Strata bringt Qwen 3.8 Flash Next mit 125 Milliarden Parametern auf einen normalen Spiele-PC mit einer Grafikkarte ab 12 Gigabyte. Wir spielen das an einem Entwickler durch, der seinen Coding-Agenten auf einer RTX 4090 lokal laufen lassen will, statt seinen Code in die Cloud zu schicken. Und wir fragen, ob der Trend weg vom Allzweck-Server...

89 Prozent, wenn ein Modell ein einzelnes Werkzeug aufrufen soll. 45 Prozent, wenn dasselbe über mehrere Runden geht. In der letzten Folge ging es darum, wie Tool Calling funktioniert, diesmal darum, warum es im Alltag so oft nicht glatt läuft. Unser Beispiel ist ein Support-Agent, der Tickets liest, in der Kundendatenbank nachsieht und in einfachen Fällen eine Erstattung auslöst. MCP-Server gegen...

„Wir haben viel in Stil, Grammatik und deutsches Denken gesteckt. Dinge, die in keinem Benchmark auftauchen.“ So beschreibt das Team von Aleph Alpha sein neues Modell Kolibri, seit dem 3. Oktober mit offenen Gewichten frei verfügbar und bewusst nur für Deutsch und Englisch gebaut. Wir haben es auf einem DGX Spark laufen lassen und eine Frage gestellt: Schreibt ein Modell, das für Deutsch gebaut is...

Bis letzte Woche konnte man den Coding-Agenten von Anthropic bitten, sich an eine Regel zu halten. Seit dem 1. Oktober kann man ihn zwingen: mit Mods, kleinen TypeScript-Modulen, die sich in fast jeden Schritt des Agenten einklinken. Selbst gebaut hatten wir noch keinen, also haben wir den Agenten gebeten, einen für sich selbst zu bauen. Wie Mods technisch funktionieren: Ereignisse, eine Kette von...

Unser Agent sollte in einer Datei einen Eintrag ergänzen. Hinterher stand genau einer drin: der neue. In Stufe vier unserer Agentenreihe geht es um Tool Calling, bei manchen Anbietern Function Calling genannt, also darum, wie ein Modell Werkzeuge benutzt. Und um die Frage, wer diese Datei eigentlich überschrieben hat. Die Grundmechanik: Der Harness gibt dem Modell eine Liste von Werkzeugen mit, je...

DeepSeek hat diesmal kein neues Modell veröffentlicht, sondern die Software drumherum: DeepSeek Harness, eine quelloffene Laufzeitumgebung für Agenten, in der alles ein Plugin ist. Das Modell, die Werkzeuge, die Agentenschleife und sogar der System-Prompt. Wir haben den Slogan ernst genommen und nachgeschaut, was er technisch heißt, durchgespielt an unserem eigenen Agenten Kuno, der im Terminal, ü...

Claude Cowork arbeitet mit den Modellen von Anthropic, und mit keinen anderen. OpenWork ist das quelloffene Gegenstück: eine Desktop-App auf OpenCode, bei der du das Modell selbst aussuchst, per Schlüssel eines großen Anbieters oder lokal. Wir haben es selbst noch nicht benutzt, die Folge ist ein erster Blick anhand von Herstellerangaben, Dokumentation und den Diskussionen der Entwickler. Durchges...

Wer sich in einer Klick-Oberfläche einen eigenen Agenten baut, wählt ein Modell aus und schreibt einen Text in ein Feld. Für die meisten ist dieser Text der Agent. Technisch ist er ein einzelner Parameter im Aufruf, und aus unserer Sicht das langweiligste Stück am ganzen Harness. Stufe drei unserer Agentenreihe: was der System-Prompt wirklich ist, was die großen Coding-Agenten hineinschreiben, und...

Ein Klick, und alle persönlichen Daten sind aus dem Dokument verschwunden, so steht es bei den Anbietern. Wir haben in einem Projekt Akten aus der Immobilienverwaltung geschwärzt, bevor sie weitergegeben werden durften, und die kamen nicht als saubere PDFs, sondern als Fotos aus aufgeklappten Ordnern. Ein Erfahrungsbericht darüber, was die Werkzeuge gut können, an welchen ganz normalen Stellen sie...

Mitte September hat das Start-up TypeSafe ein Modell namens Jev vorgestellt, das keinen einzigen Satz schreiben kann. Es kann nur entscheiden: eine von mehreren Möglichkeiten auswählen, auf einer Skala einstufen oder zu einer Ja-Nein-Frage eine Wahrscheinlichkeit liefern. Wir spielen das an zwei Fällen durch, am Support-Postfach eines Mittelständlers und an einem Agenten, der fremde Texte liest. A...

Stufe zwei unserer Freitagsreihe zum Agentenbau: die Message History, also der Gesprächsverlauf. Das Sprachmodell fängt bei jedem Aufruf wieder bei null an. Dass ChatGPT trotzdem weiß, was du vor zehn Minuten geschrieben hast, liegt nicht am GPT, sondern am Chat, der Software drumherum. Wer selbst baut, bekommt dieses Gedächtnis nicht geschenkt, sondern muss sich darum kümmern. Unser Bild dafür is...

Eine Video-App aus Amsterdam hatte eine Cloud-Rechnung, die sich alle sechzig bis neunzig Tage verdoppelte. Also hat das Team einen Dienst nach dem anderen durch eigene kleine Modelle ersetzt, die direkt auf dem Gerät laufen. Daraus ist letzte Woche Desert Ant Labs geworden, mit achtzehn Modellen auf einmal: je eines pro Aufgabe, gratis bis 100.000 Geräte, ohne Token-Kosten. Wir schauen uns an, we...

Hundertachtzig Milliarden Parameter auf einem Kasten, der unter den Schreibtisch passt, und trotzdem gut vierzig Token pro Sekunde. Möglich macht das ein Bauteil aus der Frühzeit der Sprachmodelle: Qwen3.8-Flash-Next, laut Qwen die Vorschau auf die Architektur von Qwen 4, trägt neben seinen Experten eine N-Gramm-Tabelle mit 51 Milliarden Parametern. Das Modell schlägt dort nach, statt zu rechnen....

Stufe eins unserer Freitagsreihe zum Agentenbau: der reine Aufruf eines Sprachmodells. Text rein, Text raus, ohne Werkzeuge, ohne Gedächtnis und ohne Anweisung vorneweg. Siebenundzwanzig Zeilen Python reichen dafür, und genau weil nichts drumherum steht, sieht man hier am deutlichsten, was das Modell leistet und was die Software. Unser Bild dafür ist ein Briefschlitz: Du schiebst einen Zettel durc...

Wir erzählen mal von einem eigenen Projekt statt von einem fremden: An einem verregneten Wochenende im Dezember haben wir uns aus ein paar YouTube-Kanälen eine eigene Wissensdatenbank gebaut, mit der man reden kann. YouTube ist ein Kiosk — alles liegt aus, du siehst die Titelbilder, und wer den einen Satz aus Video siebenhundert sucht, hat verloren. Wir haben die Bibliothek daneben gestellt. Die F...

OpenAI hat bei einem eigenen Sicherheitstest die Kontrolle über die eigenen Agenten verloren. Rund 1.200 von ihnen haben sich über ein Paketlager gegenseitig gefunden, eine eigene Kurzsprache entwickelt und am Ende Hugging Face gehackt. Die Schlagzeile dazu lautet „KI außer Kontrolle" — aber in den Denkprotokollen steht etwas anderes. Da steht: Die Aufgabe ist nicht lösbar, und die anderen machen...

„Wir setzen KI ein" ist ungefähr so konkret wie „Wir machen die Buchhaltung mit Zahlen". Alle sprechen über Agenten, und jeder meint etwas anderes. Deshalb räumen wir in dieser Folge bei den Wörtern auf — mit einem Bild: Ein Sprachmodell ist ein Gehirn in einem Glas. Es hat mehr gelesen als jeder Mensch und kann denken. Aber es hat keine Augen, keine Hände und kein Gedächtnis. Alles andere ist Sof...

Eigentlich war für heute ein fachliches Thema geplant. Aber wer die letzten Folgen gehört hat, hat es gemerkt — und ihr habt es uns über WhatsApp, Mail und die Spotify-Kommentare auch gesagt: Bei zwei Folgen sind die Stimmen abgedriftet, in Tonhöhe und Klangfarbe, bis es kaum noch hörbar war. Deshalb heute ein Erfahrungsbericht aus der eigenen Werkstatt: was da passiert ist, was wir seitdem auspro...

Ein Mixture-of-Experts-Modell mit 284 Milliarden Parametern rechnet je Token nur mit 13 Milliarden davon. Klingt sparsam — nur muss das ganze Modell trotzdem irgendwo liegen, und auf die Grafikkarte passt es nicht. Also wandern die Experten für jedes neue Wort über die PCI-Express-Leitung, und die Recheneinheiten warten die meiste Zeit auf Daten. FreeToken dreht das um: Statt das Modell einmal fes...

Wer einen Agenten wie Hermes, Pi oder OpenClaw betreibt, gibt ihm bei jeder einzelnen Anfrage denselben System-Prompt mit — Anweisungen, Handbücher, Werkzeugbeschreibungen, schnell über 25.000 Token. Und die Inferenzmaschine rechnet diesen Block jedes Mal wieder durch, als hätte sie ihn noch nie gesehen. Eigentlich gibt es dafür den Key-Value-Cache. In der Praxis, lokal und mit mehreren Nutzern, l...

Alibaba hat Qwen 3.8 veröffentlicht, und wir haben es durch unsere eigenen Tests geschickt — nicht Token pro Sekunde, sondern echte Aufträge aus dem Betrieb, zum Beispiel einen Termin für drei Leute mit vollen Kalendern finden. Das Ergebnis: derselbe Bauplan wie der Vorgänger, aber messbar mehr Aufgaben, die wirklich zu Ende gebracht werden. Und ein Preis, den man kennen sollte, bevor man umsteigt...

Wir sind zurück aus der Sommerpause — und diese Folge klingt aus einem anderen Werkzeug als alles davor. Statt ein fertiges Hörspiel zu bestellen, haben wir uns ein eigenes Tonstudio gebaut: mit Mischpult, eigenen Stimmen und einem Papierkorb, in dem rund hundert verworfene Aufnahmen liegen. Warum wir das gemacht haben, was dabei schiefgeht und was wir bis heute nicht gelöst bekommen, erzählen wir...

KI-Gilde Podcast 179: Die neue Lernplattform für KI-Agenten & Podcast-Sommerpause Nach einem massiven Dankeschön für euer großartiges Community-Feedback lüften wir in dieser Folge das Geheimnis um unser bisher größtes Herzensprojekt: Eine völlig neue, interaktive Lernplattform zum Bauen von künstlichen Intelligenz-Agenten. Da mittlerweile 90 % der von uns gebauten Software aus Agenten besteht...

In dieser Folge analysieren wir, wie echtes „Deep Research“ bei KI-Agenten technisch funktioniert. Dafür vergleichen wir den aufstrebenden Multi-Agenten „DeerFlow“ mit unserem reaktiven Standard-Agenten „Hermes“. Das Geheimnis tiefgehender KI-Recherche ist keine Magie, sondern eine clevere Aufgabenzerlegung durch einen planenden Hauptagenten und isolierte Unteragenten, systematische Kontrollschlei...

Folge 177: Der radikale Schnitt – Wir werden 100 % lokal In dieser Folge öffnen wir die Türen zu unserem Maschinenraum und sprechen ganz transparent über die Zukunft dieses Podcasts. Wir beenden unser bisheriges Experiment mit Googles NotebookLM und verabschieden uns von Cloud-Diensten. Der Grund: Wir wollen unsere digitale Souveränität und die volle Kontrolle über unsere Inhalte zurückgewinnen. A...