Tencent hat die Gewichte von Hy4 veröffentlicht, einem neuen Modell der Hunyuan-Familie. Es verarbeitet Text, Bilder und Videos gemeinsam und unterstützt ein Kontextfenster von bis zu 1.048.576 Token. Das Modell besitzt insgesamt 770 Milliarden Parameter, von denen es für jedes verarbeitete Token 49 Milliarden aktiviert.
Wie Hy4 Bilder und lange Kontexte verarbeitet
Für die Bildverarbeitung ist ein Transformer mit 1,23 Milliarden Parametern zuständig. Er wandelt Bilder und Videoframes mit variabler Auflösung in Token um, die anschließend dieselben Modellschichten durchlaufen wie Text.
Für lange Kontexte nutzt Hy4 Gated DeepSeek Sparse Attention und IndexCache. Ein Auswahlmechanismus ermittelt für jedes Token die 2.048 Positionen, die er für am relevantesten hält. Der Cache ermöglicht es, diese Auswahl in weiteren Schichten erneut zu verwenden.
Zum Modell gehört außerdem der Decoder DFly2, der Token vorab vorschlägt. Seine Entwurfsschichten teilen sich den KV-Cache und die ausgewählten Positionen mit den entsprechenden Hy4-Schichten. Laut Tencent benötigt der Decoder keinen zusätzlichen Speicher für den KV-Cache; die tatsächliche Beschleunigung hängt unter anderem davon ab, wie viele vorgeschlagene Token das Modell übernimmt und ob das verwendete Framework den Decoder unterstützt.
Vergleich mit Hy3 und DeepSeek
Im Test SimpleQA für Faktenwissen erreichte Hy4 in einem von Tencent veröffentlichten Vergleich 57,2 Punkte, während Hy3 preview auf 26,4 kam. Bei der Codegenerierung im Test MBPP-plus schnitt dagegen DeepSeek-V4-Pro-Base mit 79,1 Punkten besser ab als Hy4 mit 74,0.
In internen Auswertungen meldet Tencent einen Rückgang der Halluzinationsrate von 15,76 Prozent bei Hy4 preview auf 5,45 Prozent. Bei den intern als spekulative Fehler bezeichneten Fällen sank die Rate dem Unternehmen zufolge von 23,1 auf 5,6 Prozent.
Tencent zufolge liegt Hy4 zugleich hinter geschlossenen Modellen zurück, wenn es um Mathematik auf Forschungsniveau, langfristige Programmieraufgaben, die Selbstverbesserung von Modellen und anspruchsvolle Fragen zu Bildern geht.
Finanzen, Forschung und Spieleentwicklung
Tencent bewertete das Modell auch anhand von 579 Finanzaufgaben unter Beteiligung von 213 Finanzfachleuten. Hy4 erreichte laut Unternehmen eine Durchschnittsbewertung von 3,04 und belegte unter den getesteten Modellen mit offenen Gewichten den ersten Platz vor DeepSeek-V4.1-Flash, Kimi K3.1 Pro und GLM-5.3.
Beim Training mit Entwicklern von Tencent IEG lag ein Schwerpunkt auf der Arbeit mit Unreal Engine, Unity und Godot. Gegenüber der Preview-Version meldet Tencent eine Verbesserung um 19,1 Prozent bei GameDev und um 9,8 Prozent bei GameLogic.
Im internen Benchmark TenureTrail mit 123 Forschungsaufgaben aus sieben Fachgebieten belegte Hy4 laut Tencent den ersten Platz unter den vom Unternehmen getesteten Modellen mit offenen Gewichten.
Gewichte, Speicher und Einsatzmöglichkeiten
Der Sprachteil hat 78 Schichten und nutzt eine Mixture-of-Experts-Architektur, bei der pro Token nur ausgewählte Experten arbeiten. In jeder Schicht dieses Typs gibt es 256 gezielt auswählbare und einen gemeinsam genutzten Experten. Für jedes Token werden acht der auswählbaren Experten sowie der gemeinsame Experte aktiviert.
Das offizielle Repository bietet die Gewichte in den Formaten BF16 und FP8 an. Für den quantisierten Einsatz und Experimente ist auch eine GGUF-Version aus der Community verfügbar. Allein die Gewichte belegen vor zusätzlichem Betriebsaufwand etwa 1,54 TB in BF16 oder 770 GB in FP8.
Tencent unterstützt den Einsatz über vLLM und SGLang offiziell und stellt vorbereitete Docker-Images bereit. Laut Unternehmen kann der FP8-Checkpoint auf acht GPUs mit einem Tensorparallelismus von acht laufen. Voraussetzung sind insgesamt genügend GPU-Speicher, FP8-Unterstützung und die erforderlichen Kernel für Sparse Attention.
Der Server bietet eine OpenAI-kompatible API. Über den Parameter reasoning_effort lässt sich mit „no_think“ eine direkte Antwort und mit „high“ erweitertes Reasoning wählen. Native Tool-Aufrufe erfordern die Aktivierung der entsprechenden hy_v4-Parser.
Hy4 verwendet die eigene Tencent Hy License und keine von der OSI anerkannte Standardlizenz. Für den kommerziellen Einsatz gelten die Einschränkungen und Pflichten dieser Lizenz.



