La última edición del podcast de Lex Fridman (#494) presenta una profunda conversación con el CEO de NVIDIA, Jensen Huang, con una duración de aproximadamente 2.5 horas, centrada en cómo NVIDIA se ha convertido en la empresa más valiosa del mundo, con un valor de mercado de aproximadamente 4 billones de dólares, y su papel como motor de la revolución de la IA.

1. Ingeniería y diseño de sistemas de NVIDIA (Extreme Co-Design & Rack-Scale Engineering)

Jensen Huang enfatiza que NVIDIA ha pasado de ser una simple empresa de chips a un "diseño colaborativo extremo" (extreme co-design), integrando GPU, CPU, memoria, red, almacenamiento, energía, refrigeración, software, racks e incluso todo el centro de datos. Los problemas de IA ya no son adecuados para una sola computadora, se necesita computación distribuida, reconstrucción de algoritmos y optimización de redes. Mencionó la ley de Amdahl: si el cálculo solo representa el 50% de la carga de trabajo, incluso si el cálculo se acelera indefinidamente, la mejora total solo puede ser de 2 veces. Esto impulsa a NVIDIA a realizar una optimización de pila completa, superando la desaceleración de la ley de Moore.

2. ¿Cómo maneja Huang Renxun NVIDIA?

Él tiene alrededor de 60 subordinados directos, todos son expertos de primer nivel en sus campos (memoria, CPU, óptica, GPU, algoritmos, etc.). No hay reuniones uno a uno, todas las cuestiones se discuten en un entorno colectivo, todos trabajan juntos para resolver. La estructura organizativa de NVIDIA es como una “máquina de producción de IA”. Promueve grandes apuestas a través de un sistema de creencias a largo plazo, como la inversión total en CUDA (incluso con pérdidas a corto plazo) y decisiones como la adquisición de Mellanox. Idea central: iniciar desde los primeros principios, limitando el diseño dentro de las leyes físicas con un “pensamiento a la velocidad de la luz”, buscando “complejidad necesaria, pero lo más simple posible”. Admira el proyecto Colossus de Elon Musk (construir rápidamente un clúster de 200,000 GPUs), considerándolo un ejemplo de pensamiento sistémico y urgencia.

3. Leyes de escalado de IA

Huang Renxun está convencido de que la inteligencia se basa principalmente en el escalado de la potencia de cálculo. Actualmente hay cuatro etapas:

• Preentrenamiento (escala del modelo + datos)

• Postentrenamiento (datos sintéticos)

• Cálculo durante la prueba (razonamiento) (proceso de “pensar” de la IA, intensivo en cálculo)

• Escalado agentic (subagentes generados por IA, invocación de herramientas, formando un ciclo)

Predice que el razonamiento y los agentes serán más importantes que el preentrenamiento en el futuro, la IA usará herramientas, documentos e investigación como “trabajadores digitales”. NVIDIA anticipó hace dos años un camino similar al de OpenAI o1, y a través de la evolución continua de CUDA (ya en la versión 13.x) apoya nuevas arquitecturas como MoE y esparcimiento.

4. Principales cuellos de botella en el desarrollo de la IA y cómo abordarlos

• Cadena de suministro: NVIDIA activa “moldea” la cadena de suministro, anticipando la demanda futura (memoria HBM, empaquetado CoWoS, etc.) a socios como TSMC, SK Hynix, ASML, estableciendo confianza y sin grandes preocupaciones.

• Memoria: reducir la dependencia de datos humanos a través de datos sintéticos.

• Electricidad: uno de los mayores desafíos, pero se aborda mediante la distribución dinámica de potencia, aprovechando la capacidad ociosa de la red eléctrica (la red está por debajo del pico el 99% del tiempo), y acuerdos de contratos para un “degradado elegante” (reducir el rendimiento en lugar de apagar durante picos). El objetivo es mejorar significativamente la eficiencia de “tokens por segundo / vatios” cada año.

5. La fortaleza de NVIDIA (Moat)

Huang Renxun cree que la mayor fortaleza es la base de instalación de CUDA (millones de desarrolladores, acumulación de un enorme software). No es solo tecnología, sino un esfuerzo conjunto de 20 años de 43,000 empleados + comunidad de desarrolladores. Los desarrolladores creen que NVIDIA continuará iterando (desde CUDA 1 hasta 13), por lo que están dispuestos a construir su pila de software sobre ello. La fortaleza futura también se expandirá a “fábricas de IA” (AI factories) — sistemas de computación a escala planetaria.

6. China, TSMC y temas geopolíticos

Él elogia altamente el éxito de China en el campo de la IA: con aproximadamente el 50% de los investigadores de IA del mundo, aprovechando el buen momento de la era del software, una competencia provincial feroz, y una cultura de “nación constructora” dominada por ingenieros, junto con los lazos familiares/clasistas que fomentan el compartir de código abierto, es actualmente el país más innovador. TSMC es visto por él como una de las grandes empresas de la historia de la humanidad, cuyo foso radica en su capacidad tecnológica y en la coordinación dinámica de cientos de clientes (sin contratos, pero con miles de millones de dólares en negocios). Fue invitado a ser CEO de TSMC, pero eligió enfocarse en NVIDIA.

7. ¿NVIDIA alcanzará los 10 billones de dólares en el futuro?

Huang Renxun cree que el crecimiento es “muy probable y casi inevitable en su mente”. La computación está pasando de “basada en búsqueda” (almacenamiento de archivos, recomendaciones) a “generativa” (producción en tiempo real de tokens contextualmente ricos, como una fábrica). La IA generará una “economía de tokens”, donde los precios de los tokens irán de gratuitos a miles de dólares/millón, acelerando el PIB global, con la proporción de computación en el PIB pudiendo crecer cien veces. No hay límites físicos que impidan que NVIDIA se convierta en una empresa de billones de dólares, la clave radica en la imaginación humana.

8. AGI, el futuro de la programación y su impacto social

• AGI: Huang Renxun ofrece una definición pragmática: IA que puede “iniciar, crecer y operar una empresa tecnológica de más de mil millones de dólares”. Él cree que “ya hemos alcanzado AGI” (I think it’s now). La IA ya puede crear aplicaciones virales, pero la orquestación a gran escala (como construir NVIDIA) aún requiere humanos.

• Programación y empleo: la IA automatizará tareas, pero no reemplazará el propósito profesional. Por ejemplo: tras la visión sobrehumana de la IA, el número de radiólogos aumentó (diagnósticos más rápidos, pueden atender a más pacientes). La programación pasará de “escribir código” a “especificar requisitos + creación artística”, bajando la barrera de entrada, potencialmente expandiéndose de 30 millones de programadores a mil millones. Se recomienda a todos que adquieran habilidades para usar la IA rápidamente, quien sepa usar IA tendrá ventaja.

• Juegos: discutió sobre GeForce, DLSS 5 (él entiende las quejas de los jugadores sobre la “calidad de imagen de IA”, pero enfatiza que es una mejora real guiada por 3D), juegos clásicos (como Doom) y la cultura de mods.

9. Filosofía y nivel personal

• Conciencia: la IA puede simular percepción, razonamiento y planificación, pero no puede “sentir” realmente experiencias subjetivas como ansiedad o dolor. La inteligencia es un producto funcional, la humanidad (empatía, generosidad, resiliencia) es el superpoder.

• Muerte y legado: valora mucho la vida y no quiere morir (“tengo una gran vida, familia y trabajo importante”), pero no planea una sucesión tradicional, sino que transmite conocimiento cada día, “muriendo en el puesto”. Espera resolver problemas como enfermedades y contaminación a través de la IA, y tiene plena confianza en la bondad y capacidad humana.

Esta entrevista es muy técnica (ingeniería en capas, solución de cuellos de botella), pero también está impregnada de optimismo y cuidado humanitario. Huang Renxun muestra un fuerte pensamiento basado en primeros principios, un enfoque a largo plazo y confianza en su equipo/ecosistema, siendo descrito por Lex como “una de las personas más inteligentes y reflexivas”.