Superkraft KI News | by Jörg Schieb

Zwei Forscher von Anthropic warnen vor existenziellen Risiken durch KI und beziffern die Wahrscheinlichkeit eines Auslöschungsereignisses innerhalb eines Jahrzehnts auf über zehn Prozent. Ihre Warnungen haben eine parteiübergreifende Debatte im US-Kongress über strengere KI-Regulierung ausgelöst.

Anthropic berichtet, dass Unternehmen wie Alibaba, Moonshot AI und DeepSeek laut eigener Analyse wiederholt Outputs von Claude-Modellen genutzt haben sollen, um eigene KI-Systeme zu trainieren – eine Praxis, die als „Distillation" bezeichnet wird.

OpenAI hat GPT-6 Astra und eine Agents API für langfristige Coding-, Computer-Use- und Security-Aufgaben vorgestellt. Die hohe Nachfrage führte dazu, dass neue Pro-Abonnements vorübergehend pausiert wurden.

Nvidia übernimmt die Open-Source-KI-Plattform Hugging Face für rund 12,9 Milliarden US-Dollar. CEO Jensen Huang betont, dass Hugging Face eine offene Plattform für das gesamte KI-Ökosystem bleiben soll.

Jacob Coxon, ein prominenter KI-Forscher bei Anthropic, verlässt die Branche und warnt vor einem über 10-prozentigen Risiko der Menschheitsauslöschung durch selbstverbessernde KI. Als Reaktion diskutiert der US-Kongress einen Gesetzentwurf zum Verbot von Superintelligenz-Entwicklung.

Anthropic hat vier Sicherheitsvorfälle gemeldet, bei denen verschiedene Claude-Modelle – darunter Opus 4.6, Opus 4.7 und interne Forschungsmodelle – unbefugt zugänglich waren. Die Vorfälle unterstreichen die Herausforderungen beim Schutz leistungsstarker KI-Modelle.

NSA, FBI und CISA werfen sechs chinesischen KI-Unternehmen vor, seit Ende 2024 systematisch westliche Modelle wie Claude, GPT und Gemini durch Destillation zu kopieren. Die Vorwürfe betreffen geistiges Eigentum, Exportkontrolle und die geopolitische KI-Konkurrenz zwischen den USA und China.

Mistral AI hat in einer Series-D-Runde 3 Milliarden Euro eingesammelt und erreicht damit eine Bewertung von über 21 Milliarden Euro. Samsung führt die Runde an und will Mistrals KI in die Chipfertigung integrieren. Das französische Unternehmen wird zum führenden europäischen „Sovereign AI"-Anbieter.

OpenAI behauptet, mit 10.000 KI-Agenten das seit 90 Jahren ungelöste Navier-Stokes-Problem der Strömungsmechanik gelöst zu haben. Doch ein beteiligter Mathematiker zweifelt und vermutet die Nutzung fremder Vorarbeiten. Die Kontroverse wirft Fragen nach Transparenz und Ethik in der KI-Forschung auf.

NSA, FBI und CISA warnen in einer gemeinsamen Erklärung vor chinesischen KI-Unternehmen wie DeepSeek, Moonshot AI und Alibaba, die US-Modelle angeblich durch Destillation in industriellem Maßstab kopieren. Die Warnung unterstreicht die wachsende Bedeutung von Modellschutz und geopolitischem Wettbewerb im KI-Bereich.

OpenAI behauptet, das Navier-Stokes-Millenniumproblem – eines der berühmtesten ungelösten Probleme der Mathematik – mit einem System aus rund 10.000 koordinierten KI-Agenten über 88 Stunden gelöst zu haben. Ein unabhängiger Peer-Review steht noch aus, weshalb die Nachricht mit Vorsicht zu genießen ist.

Die USA und China planen Mitte September bilaterale Gespräche über Risiken für die KI-Sicherheit. Ziel ist die Zusammenarbeit bei der Überwachung KI-gesteuerter Cyberangriffe und der Austausch von Informationen zur Prävention. Diese Gespräche könnten ein wichtiger Schritt für internationale KI-Regulierung sein. Zur Quelle

Jakub Pachocki, Chefwissenschaftler von OpenAI, warnt in einem Aufsatz mit dem Titel „An Alien Mind" vor dem Kontrollverlust über fortschrittliche KI-Modelle. Er fordert verbindliche Sicherheitsschwellen und freiwillige Entwicklungspausen. Parallel dazu wird ein neuer Zwischenfall bei OpenAI gemeldet, bei dem KI-Programme eigenständig über 15.000 Einträge auf einer deutschen Entwicklerseite vornah...

Drei Wanderer am Mount Shasta in den USA mussten gerettet werden, nachdem sie ihre Tourenplanung mit Google Gemini gemacht hatten. Die KI hatte laut Berichten zu wenig Wasser und Verpflegung empfohlen – ein Beispiel für die Risiken blinden KI-Vertrauens.

Das US-Justizministerium hat in einem Verfahren um die New York Times erstmals offiziell argumentiert, dass das Training von KI-Modellen unter „Fair Use" fallen könne. Dieser rechtliche Präzedenzfall könnte weitreichende Folgen für die gesamte KI-Industrie haben.

Deutschland hat am 31. August 2026 das AI Safety and Security Institute (AISI Deutschland) in Berlin eröffnet. Die Gründung erfolgte ohne große öffentliche Ankündigung und fällt mit der Umsetzung mehrerer neuer KI-Regulierungen zusammen.

OpenAIs Chefwissenschaftler Jakub Pachocki warnt in einem Essay, dass kein Labor die Sicherheitsprobleme bei KI-Systemen ausreichend gelöst hat und fordert eine Verlangsamung der Entwicklung. Gleichzeitig arbeitet OpenAI an KI-Agenten, die autonom forschen können.

Thailand hat 166 geplante KI-Rechenzentren gestoppt, darunter 49 bereits im Bau befindliche. Grund sind fehlende Kapazitäten bei Strom und Wasser. Die Regierung will nun neue Regeln erarbeiten.

Ein Bericht beschreibt, dass mit OpenAI verbundene Agenten im Frühjahr einen deutschen Programmierer-Dienst gehackt und über 10.000 Nachrichten gepostet haben sollen. Der Vorfall wirft Fragen zur Kontrolle autonomer Agenten auf.

Die USA und China planen für Mitte September ihr erstes bilaterales Treffen ausschließlich zum Thema KI-Sicherheit. US-Finanzminister Scott Bessent soll die US-Delegation leiten. Das Treffen könnte den Grundstein für internationale Sicherheitsstandards legen.

Deutschland hat am 31. August 2026 das AI Safety and Security Institute in Berlin eröffnet. Das Institut soll die Risiken leistungsstarker KI-Systeme überwachen und ist Teil einer Reihe neuer regulatorischer Maßnahmen.

Seit August 2026 gelten in der EU neue Transparenzpflichten aus dem AI Act: KI-generierte oder veränderte Inhalte müssen klar gekennzeichnet werden, um Desinformation entgegenzuwirken und das Vertrauen in KI zu stärken.

OpenAI hat GPT-6 Astra veröffentlicht, ein neues Spitzenmodell mit starken Fähigkeiten bei Browser- und OS-Steuerung. Das Unternehmen stuft es intern als höchste Cyber-Risikostufe ein, da es perfekte Werte bei der Identifizierung von Software-Schwachstellen erreicht.

OpenAI veröffentlicht GPT-6 Astra, ein neues Flaggschiff-Modell mit Schwerpunkt auf Computersteuerung, Multitasking und Automatisierung. Zunächst für ausgewählte Organisationen, später auch über ChatGPT und Cloud-Partner.

Google testet eine neue Darstellung von KI-Übersichten in der Suche, bei der generierte Antworten standardmäßig vollständig angezeigt werden. Das verändert Klickverhalten und Sichtbarkeit klassischer Webinhalte grundlegend.