Die neueste Episode des Lex Fridman Podcasts (#494) ist ein tiefgehendes Gespräch mit NVIDIA CEO Jensen Huang, das etwa 2,5 Stunden dauert und sich damit beschäftigt, wie NVIDIA das weltweit wertvollste Unternehmen mit einem Marktwert von etwa 4 Billionen Dollar wurde und welche Rolle es als Motor der KI-Revolution spielt.

1. NVIDIA's Engineering und Systemdesign (Extreme Co-Design & Rack-Scale Engineering)

Jensen Huang betont, dass NVIDIA sich von einem reinen Chip-Unternehmen zu einem "extremen Co-Design" (extreme co-design) gewandelt hat, indem es GPU, CPU, Speicher, Netzwerk, Speicher, Stromversorgung, Kühlung, Software, Racks und sogar ganze Rechenzentren integriert hat. KI-Probleme sind nicht mehr für einen einzelnen Computer geeignet und erfordern verteiltes Rechnen, Algorithmus-Neugestaltung und Netzwerkoptimierung. Er erwähnte das Amdahl-Gesetz: Wenn das Rechnen nur 50 % der Arbeitslast ausmacht, kann die gesamte Leistung selbst bei unendlicher Beschleunigung nur um das Zweifache gesteigert werden. Dies treibt NVIDIA dazu, eine Full-Stack-Optimierung durchzuführen und die Verlangsamung des Moore'schen Gesetzes zu übertreffen.

2. Wie Jensen Huang NVIDIA managt

Er hat etwa 60 direkte Mitarbeiter, allesamt führende Experten in ihren jeweiligen Bereichen (Speicher, CPU, Optik, GPU, Algorithmen usw.). Es gibt keine Eins-zu-eins-Meetings, alle Probleme werden in kollektiven Sitzungen diskutiert, und alle arbeiten zusammen an Lösungen. Die Organisationsstruktur von NVIDIA selbst ist wie eine „Maschine zur Produktion von AI“. Er fördert große Wetten durch langfristige „Gestaltung von Glaubenssystemen“, wie zum Beispiel die umfassende Investition in CUDA (auch bei kurzfristigen Verlusten) und die Übernahme von Mellanox. Das Kernkonzept: vom ersten Prinzip ausgehen, mit „Lichtgeschwindigkeit denken“ (speed of light) das Design an physikalische Gesetze binden und „notwendige Komplexität, aber so einfach wie möglich“ anstreben. Er schätzt Elon Musks Colossus-Projekt (schneller Aufbau eines Clusters von 200.000 GPUs) und sieht es als Paradebeispiel für systemisches Denken und Dringlichkeit.

3. AI Skalierungsgesetze

Jensen Huang ist überzeugt, dass Intelligenz hauptsächlich durch Rechenleistung skaliert. Derzeit gibt es vier Phasen:

• Vortraining (Modellgröße + Daten)

• Nachtraining (synthetische Daten)

• Rechenleistung bei Tests (Schlussfolgerung) (der AI „Denken“-Prozess, rechenintensiv)

• Agentic Skalierung (AI-generierte Subagenten, Werkzeugaufrufe, Bildung von Schleifen)

Er prognostiziert, dass zukünftiges Schlussfolgern und Agenten wichtiger sein werden als das Vortraining, AI wird Werkzeuge, Dokumente und Forschung wie „digitale Arbeiter“ nutzen. NVIDIA hat zwei Jahre im Voraus einen ähnlichen Pfad wie OpenAI o1 vorhergesehen und unterstützt durch die kontinuierliche Evolution von CUDA (bereits bei Version 13.x) MoE, Sparsamkeit und andere neue Architekturen.

4. Hauptengpässe in der AI-Entwicklung und deren Bewältigung

• Lieferkette: NVIDIA gestaltet aktiv die Lieferkette, indem es Partner wie TSMC, SK Hynix, ASML Jahre im Voraus über zukünftige Bedürfnisse (HBM-Speicher, CoWoS-Pakete usw.) informiert und Vertrauen aufbaut, ohne größere Sorgen.

• Speicher: Abhängigkeit von menschlichen Daten durch synthetische Daten reduzieren.

• Strom: Eine der größten Herausforderungen, aber durch dynamische Leistungszuweisung, Nutzung der ungenutzten Kapazität des Stromnetzes (das Stromnetz ist 99% der Zeit weit unter dem Höchstwert) und vertraglich vereinbarte „elegante Abregelung“ (Leistung in Spitzenzeiten reduzieren, anstatt abzuschalten) zu lösen. Das Ziel ist, die Effizienz von „Tokens pro Sekunde/Watt“ jährlich erheblich zu steigern.

5. Der Wettbewerbsvorteil von NVIDIA (Moat)

Jensen Huang glaubt, dass der größte Wettbewerbsvorteil die Installationsbasis von CUDA ist (Millionen von Entwicklern, angesammelte riesige Software). Das ist nicht nur Technologie, sondern das Ergebnis von 43.000 Mitarbeitern + 20 Jahren gemeinsamer Anstrengungen der Entwicklergemeinschaft. Entwickler glauben, dass NVIDIA weiterhin iterieren wird (CUDA 1 bis 13), und sind daher bereit, ihre Software-Stacks darauf aufzubauen. Zukünftige Wettbewerbsvorteile werden sich auch auf „AI-Fabriken“ ausdehnen – planetarische Rechensysteme.

6. China, TSMC und geopolitische Themen

Er lobt Chinas Erfolge im AI-Bereich: Es gibt weltweit etwa 50% der AI-Forscher, die Software-Ära hat einen guten Zeitpunkt erreicht, der Wettbewerb auf Provinzebene ist intensiv, und die ingenieurgesteuerte Kultur eines „aufbauenden Landes“, zusammen mit familiären/kollegialen Bindungen, fördert den offenen Austausch. Er sieht TSMC als eines der größten Unternehmen in der Geschichte der Menschheit, dessen Wettbewerbsvorteil in der Technologie und der Fähigkeit zur dynamischen Koordination von Hunderten von Kunden liegt (keine Verträge, aber Geschäfte im Wert von Tausenden von Milliarden Dollar). Er wurde eingeladen, CEO von TSMC zu werden, wählte jedoch, sich auf NVIDIA zu konzentrieren.

7. Wird NVIDIA in Zukunft 10 Billionen Dollar erreichen?

Jensen Huang glaubt, dass Wachstum „sehr wahrscheinlich und in den Köpfen unvermeidlich“ ist. Das Rechnen wandelt sich von „retrieval-based“ (Speicherdateien, Empfehlungen) zu „generativ“ (Echtzeiterzeugung kontextreicher Tokens, wie in einer Fabrik). AI wird eine „Token-Wirtschaft“ erzeugen, Token-Preise werden von kostenlos bis zu mehreren tausend Dollar/Millionen reichen, und das globale BIP wird beschleunigt, wobei der Anteil des Rechnens am BIP hundertfach steigen könnte. Es gibt keine physikalischen Grenzen, die NVIDIA daran hindern, ein Unternehmen im Wert von Billionen Dollar zu werden; der Schlüssel liegt in der menschlichen Vorstellungskraft.

8. AGI, Programmierzukunft und soziale Auswirkungen

• AGI: Jensen Huang gibt eine pragmatische Definition – eine AI, die in der Lage ist, „ein Technologieunternehmen im Wert von über einer Milliarde Dollar zu starten, zu wachsen und zu betreiben“. Er glaubt, „wir haben AGI erreicht“ (Ich denke, es ist jetzt). AI kann virale Anwendungen erstellen, aber großflächige Orchestrierung (wie der Aufbau von NVIDIA) erfordert weiterhin Menschen.

• Programmierung und Beschäftigung: AI wird Aufgaben automatisieren, aber den beruflichen Zweck nicht ersetzen. Zum Beispiel: Nach der übermenschlichen visuellen Fähigkeit von AI stieg die Anzahl der Radiologen tatsächlich an (schnellere Diagnosen, mehr Patienten können betreut werden). Programmierung wird sich von „Code schreiben“ zu „Bedarf spezifizieren + künstlerische Kreation“ ändern, die Eintrittsbarriere wird gesenkt, möglicherweise von 30 Millionen Programmierern auf 1 Milliarde Menschen ansteigen. Er empfiehlt, so schnell wie möglich die Fähigkeiten zur Nutzung von AI zu erlernen; wer AI nutzen kann, hat einen Vorteil.

• Spiele: Diskutiert GeForce, DLSS 5 (er versteht die Kritik der Spieler an der „AI miesen Grafik“, betont jedoch, dass es sich um realistische Verbesserungen handelt, die 3D-gesteuert sind), klassische Spiele (wie Doom) und Mod-Kultur.

9. Philosophie und persönliche Ebene

• Bewusstsein: AI kann Wahrnehmung, Schlussfolgerungen und Planung simulieren, aber nicht wirklich „fühlen“ wie Angst, Schmerz und andere subjektive Erfahrungen. Intelligenz ist ein funktionales Gut, Menschlichkeit (Mitgefühl, Großzügigkeit, Widerstandsfähigkeit) ist die Superkraft.

• Tod und Vermächtnis: Er schätzt das Leben sehr, möchte nicht sterben („Ich habe ein großartiges Leben, eine Familie und wichtige Arbeit“), plant jedoch nicht traditionell für die Nachfolge, sondern gibt täglich Wissen weiter, „stirbt am Arbeitsplatz“. Er hofft, durch AI Probleme wie Krankheiten und Verschmutzung zu lösen und hat volles Vertrauen in die Güte und Fähigkeiten der Menschheit.

Dieses Interview ist sehr technisch (Stack-Engineering, Engpasslösungen) und gleichzeitig voller Optimismus und humanitärer Sorge. Jensen Huang zeigt starkes Denken in ersten Prinzipien, Langfristigkeit und Vertrauen in das Team/Ökosystem und wird von Lex als „einer der klügsten und besonnensten Menschen“ beschrieben.