DeepSeek R2 verzögert sich durch Huawei Chips

Das chinesische Startup DeepSeek hat den Start seines LLM R2 verschoben. Schuld daran sind offenbar Huaweis Ascend-Chips, die das Unternehmen auf ausdrücklichen Wunsch der chinesischen Behörden anstelle von Komponenten des US-Konzerns Nvidia zum Trainieren des Modells verwendete. Die Financial Times berichtet, R2 hätte bereits im Mai auf den Markt kommen sollen.

Anfang des Jahres überraschte DeepSeek die KI-Branche mit der Einführung von R1, einem kostenlosen Open-Source-LLM, das mindestens genauso leistungsfähig war wie OpenAIs GPT o1-Modell, aber zu deutlich geringeren Kosten trainiert werden konnte. Nach dem Erfolg von R1 drängte die chinesische Regierung das Unternehmen, für das Training seiner neuen Modelle nach Alternativen zu Nvidias H20-Chips zu suchen. Die Wahl fiel auf Huaweis Ascend-Chips, die sich jedoch als weniger leistungsfähig erwiesen als ihre ausländischen Pendants. Internen Quellen zufolge leiden die Komponenten des chinesischen Riesen unter Stabilitätsproblemen und langsameren Verbindungsgeschwindigkeiten zwischen den Chips als die H20-Chips. Auch die Trainingsmanagement-Software soll nicht mit Nvidias CUDA-Toolkit mithalten können.

Chipsmischung

Um das Problem zu lösen, schickte Huawei Berichten zufolge seine Ingenieure in die DeepSeek-Abteilung, um eng mit ihnen zusammenzuarbeiten. Doch selbst ein direktes Eingreifen der Techniker konnte das Problem nicht lösen. Aus diesem Grund wurde R2 schließlich mit Nvidia-Chips neu trainiert. Das Startup wird jedoch weiterhin Chips des Schwesterunternehmens Huawei verwenden, um die Inferenzprozesse durchzuführen, d. h. die Berechnung der Ergebnisse auf Grundlage der von den Benutzern eingegebenen neuen Daten.

Wenn alles nach Plan läuft, sollte R2 in den nächsten Wochen endlich erscheinen, etwa drei Monate später als ursprünglich geplant. Das mag nicht lange erscheinen, aber in einem schnell wachsenden Sektor wie der generativen KI ist es ein riesiges Zeitfenster, das Wettbewerbern (auch chinesischen) die Möglichkeit gibt, ihre Position zu festigen, neue Funktionen einzuführen und erhebliche Marktanteile zu gewinnen.

Der Nvidia-Knoten

Am vergangenen Dienstag, dem 12. August, verkündete die Trump-Regierung eine beispiellose Vereinbarung mit Nvidia und AMD. Beide Unternehmen dürfen ihre Chips an chinesische Unternehmen verkaufen, sofern sie der US-Regierung 15 % des Erlöses aus dem Verkauf in China zahlen. Die Maßnahme ist vermutlich verfassungswidrig, doch sowohl Nvidia als auch AMD akzeptierten die Bedingungen, um den Zugang zu einem hinsichtlich Volumen und Wachstumspotenzial wichtigen KI-Markt nicht zu verlieren. Peking seinerseits warnte seine Unternehmen, beim Kauf von für den chinesischen Markt bestimmten Versionen der Nvidia H20-Chips vorsichtig zu sein. Laut Experten, die von den Zentralbehörden zitiert wurden, integrieren die Komponenten Tracking- und Ferndeaktivierungssysteme. Kurz gesagt, sie könnten Trojaner sein und ein geopolitisches Risiko für den gesamten KI-Sektor in China darstellen.

Gemäß der Vereinbarung mit der Trump-Administration kann Nvidia derzeit nur H20-Chips exportieren, während die fortschrittlicheren und leistungsstärkeren Chips der neuen Blackwell-Serie, die 2024 angekündigt werden, in China nur in einer abgespeckten Version erhältlich sein werden.