Tencent veröffentlicht Hy4: Multimodales Modell mit Kontextfenster für über eine Million Token

Tencent veröffentlicht Hy4: Multimodales Modell mit Kontextfenster für über eine Million Token

Ondřej Barták
Ondřej Barták
Unternehmer und Programmierer
21. 11. 2026
3 Minuten Lesezeit · 2 Aufrufe
Tencent veröffentlicht Hy4: Multimodales Modell mit Kontextfenster für über eine Million Token

Tencent hat die Gewichte von Hy4 veröffentlicht, einem neuen Modell der Hunyuan-Familie. Es verarbeitet Text, Bilder und Videos gemeinsam und unterstützt ein Kontextfenster von bis zu 1.048.576 Token. Das Modell besitzt insgesamt 770 Milliarden Parameter, von denen es für jedes verarbeitete Token 49 Milliarden aktiviert.

Wie Hy4 Bilder und lange Kontexte verarbeitet

Für die Bildverarbeitung ist ein Transformer mit 1,23 Milliarden Parametern zuständig. Er wandelt Bilder und Videoframes mit variabler Auflösung in Token um, die anschließend dieselben Modellschichten durchlaufen wie Text.

Für lange Kontexte nutzt Hy4 Gated DeepSeek Sparse Attention und IndexCache. Ein Auswahlmechanismus ermittelt für jedes Token die 2.048 Positionen, die er für am relevantesten hält. Der Cache ermöglicht es, diese Auswahl in weiteren Schichten erneut zu verwenden.

Zum Modell gehört außerdem der Decoder DFly2, der Token vorab vorschlägt. Seine Entwurfsschichten teilen sich den KV-Cache und die ausgewählten Positionen mit den entsprechenden Hy4-Schichten. Laut Tencent benötigt der Decoder keinen zusätzlichen Speicher für den KV-Cache; die tatsächliche Beschleunigung hängt unter anderem davon ab, wie viele vorgeschlagene Token das Modell übernimmt und ob das verwendete Framework den Decoder unterstützt.

Vergleich mit Hy3 und DeepSeek

Im Test SimpleQA für Faktenwissen erreichte Hy4 in einem von Tencent veröffentlichten Vergleich 57,2 Punkte, während Hy3 preview auf 26,4 kam. Bei der Codegenerierung im Test MBPP-plus schnitt dagegen DeepSeek-V4-Pro-Base mit 79,1 Punkten besser ab als Hy4 mit 74,0.

In internen Auswertungen meldet Tencent einen Rückgang der Halluzinationsrate von 15,76 Prozent bei Hy4 preview auf 5,45 Prozent. Bei den intern als spekulative Fehler bezeichneten Fällen sank die Rate dem Unternehmen zufolge von 23,1 auf 5,6 Prozent.

Tencent zufolge liegt Hy4 zugleich hinter geschlossenen Modellen zurück, wenn es um Mathematik auf Forschungsniveau, langfristige Programmieraufgaben, die Selbstverbesserung von Modellen und anspruchsvolle Fragen zu Bildern geht.

Finanzen, Forschung und Spieleentwicklung

Tencent bewertete das Modell auch anhand von 579 Finanzaufgaben unter Beteiligung von 213 Finanzfachleuten. Hy4 erreichte laut Unternehmen eine Durchschnittsbewertung von 3,04 und belegte unter den getesteten Modellen mit offenen Gewichten den ersten Platz vor DeepSeek-V4.1-Flash, Kimi K3.1 Pro und GLM-5.3.

Beim Training mit Entwicklern von Tencent IEG lag ein Schwerpunkt auf der Arbeit mit Unreal Engine, Unity und Godot. Gegenüber der Preview-Version meldet Tencent eine Verbesserung um 19,1 Prozent bei GameDev und um 9,8 Prozent bei GameLogic.

Im internen Benchmark TenureTrail mit 123 Forschungsaufgaben aus sieben Fachgebieten belegte Hy4 laut Tencent den ersten Platz unter den vom Unternehmen getesteten Modellen mit offenen Gewichten.

Gewichte, Speicher und Einsatzmöglichkeiten

Der Sprachteil hat 78 Schichten und nutzt eine Mixture-of-Experts-Architektur, bei der pro Token nur ausgewählte Experten arbeiten. In jeder Schicht dieses Typs gibt es 256 gezielt auswählbare und einen gemeinsam genutzten Experten. Für jedes Token werden acht der auswählbaren Experten sowie der gemeinsame Experte aktiviert.

Das offizielle Repository bietet die Gewichte in den Formaten BF16 und FP8 an. Für den quantisierten Einsatz und Experimente ist auch eine GGUF-Version aus der Community verfügbar. Allein die Gewichte belegen vor zusätzlichem Betriebsaufwand etwa 1,54 TB in BF16 oder 770 GB in FP8.

Tencent unterstützt den Einsatz über vLLM und SGLang offiziell und stellt vorbereitete Docker-Images bereit. Laut Unternehmen kann der FP8-Checkpoint auf acht GPUs mit einem Tensorparallelismus von acht laufen. Voraussetzung sind insgesamt genügend GPU-Speicher, FP8-Unterstützung und die erforderlichen Kernel für Sparse Attention.

Der Server bietet eine OpenAI-kompatible API. Über den Parameter reasoning_effort lässt sich mit „no_think“ eine direkte Antwort und mit „high“ erweitertes Reasoning wählen. Native Tool-Aufrufe erfordern die Aktivierung der entsprechenden hy_v4-Parser.

Hy4 verwendet die eigene Tencent Hy License und keine von der OSI anerkannte Standardlizenz. Für den kommerziellen Einsatz gelten die Einschränkungen und Pflichten dieser Lizenz.

Werbung

Inhalte entstehen mit Unterstützung von UpTier.

SEO und GEO auf Autopilot. Die Multiagentensysteme von UpTier schreiben und optimieren Inhalte für Suchmaschinen und KI-Antworten.

UpTier entdecken ↗

Kategorie:KI
Hat Ihnen dieser Artikel gefallen?
Entdecken Sie weitere interessante Beiträge im Blog
Zurück zum Blog

Ähnliche Beiträge

OpenAI half AMD, einen neuen Grafikchip zu optimieren. Ein Jahr Arbeit in knapp fünf MonatenOpenAI half AMD, einen neuen Grafikchip zu optimieren. Ein Jahr Arbeit in knapp fünf Monaten
OpenAI-Modelle halfen AMD, Verbrauch, Leistung und Fläche des Grafikchips um bis zu 14 Prozent zu verbessern. Was früher ein Jahr dauerte, gelang in knapp fünf Monaten.
5 Min. Lesezeit
20. 11. 2026
OpenAI-Führungskraft warnt: Die meisten von euch werden wohl durch einen KI-Unfall sterbenOpenAI-Führungskraft warnt: Die meisten von euch werden wohl durch einen KI-Unfall sterben
OpenAI-Vorstandsmitglied Paul Christiano warnt, dass die Menschheit binnen Monaten oder Jahren die Kontrolle über KI verlieren könnte. Warum hält er das Risiko für so hoch und was könnte es abwenden?
3 Min. Lesezeit
20. 11. 2026
Mistral veröffentlicht Vibe Desktop. Der KI-Programmierer läuft jetzt direkt auf Mac und WindowsMistral veröffentlicht Vibe Desktop. Der KI-Programmierer läuft jetzt direkt auf Mac und Windows
Mistral bringt die KI-Programmierung vom Terminal auf den Desktop. Vibe Desktop für macOS und Windows unterstützt lokale wie cloudbasierte Entwicklung und lässt mehrere Agenten parallel arbeiten.
5 Min. Lesezeit
20. 11. 2026
Přihlaste se k odběru našeho newsletteru
Zůstaňte informováni o nejnovějších příspěvcích, exkluzivních nabídkách, a aktualizacích.
CodedTrip

Betreiber: CodedTrip LLC, USA.

YouTube
TikTok