Parece que estás mezclando diferentes presentaciones y diferentes dominios.
"MAC" en este contexto significa Multiplicar-Acumular, también conocido como Fused Multiply and Add (FMA). De hecho, es la operación principal para redes neuronales altamente conectadas, incluyendo redes totalmente conectadas y CNN. La otra operación principal es la operación no lineal realizada en el resultado de todos esos MAC. Pero como a menudo eso es un ReLu en estos días, esa operación es prácticamente gratuita. (esencialmente un retardo de puerta)
ALU (unidad lógica aritmética) es un concepto de CPU obsoleto. Las arquitecturas modernas de CPU ya no las tienen; El equivalente lógico serían las Unidades de Ejecución de PF. Definitivamente no están conectados a la memoria como en la figura 1; operan en los registros. La memoria no podría mantenerse al día, eliminando el beneficio de una operación de MAC dedicada.
La segunda imagen es una descripción general de alto nivel de una nueva arquitectura sin CPU. Esto tiene sentido; estaba discutiendo el hardware de AI y no el hardware de propósito general, como los CPU's.