GPU vs CPU en la memoria del chip

  

Parece que los últimos chips NVDA GPU tienen > 10GB de memoria en chip.

¡En paquete! = en chip. Los HBM son pilas de varios chips justo al lado de la GPU principal. Las GPU de grado de consumidor tienen la memoria soldada a la PCB en paquetes BGA normales.

La memoria de la GPU funciona "mejor" porque no hay conectores que puedan afectar la ruta de la señal entre los chips, lo que permite frecuencias más altas.

La memoria principal de la PC usa sockets, esto le permite actualizar la RAM cambiando o agregando módulos. Pero estos también degradan las señales eléctricas y, por lo tanto, el rendimiento.

También tenga en cuenta que solo unos pocos MB en los chips de GPU son SRAM (cachés), la gran mayoría de la memoria es DRAM.

No, aquí hay una comparación de tamaños de caché:

Fuente: enlace

Una tubería de GPU se ve así:

Fuente: enlace

Una tubería de CPU se ve así:

Fuente: enlace

Entonces, ¿por qué no ves los módulos de memoria en una PCB de GPU si son iguales? El primero en el que puedo pensar sería que la memoria de la GPU es mucho más rápida (y usa nuevas tecnologías de memoria como DDR3 para una CPU y DDR5 para una GPU) (mira la tabla). El precio del módulo de memoria también es probable que sea un problema. Es mucho más fácil colocar fichas en una placa que un módulo con conectores y el tamaño también es una restricción.

El tamaño real de la memoria solo está limitado por la cantidad de espacio direccionable, por lo que las GPU probablemente ganen allí, ya que las CPU generalmente tienen 64 bits y las GPU tienen más. Lo que la gente usa en la práctica generalmente se debe al costo.

Son similares en cuanto a que cada uno tiene un caché L1, L2 y L3, luego memoria global. Si los datos no están en el caché L1, se ve en L2, que es más grande y más lento, y luego en L3, que es más grande y más lento que L2. Si los datos no están allí, entonces busca en la memoria global, y el procesador tiene que esperar algunos ciclos de reloj para que esto suceda.