En general, una red neuronal está dimensionada para lograr un objetivo como la precisión, la precisión, la recuperación, etc., relacionado con la tarea de aprendizaje automático. Al aumentar o reducir el tamaño de la capa oculta, estaría más preocupado por la variación, el sesgo, etc. que por la potencia y la velocidad.
Algunas veces se usan NN múltiples; p.ej. en un problema de clasificación multiclase, pero generalmente porque eso mejora la medida del rendimiento en la tarea. En una aplicación en tiempo real puede ser útil priorizar la velocidad de la red neuronal, pero esto sería una preocupación secundaria para el desempeño de la tarea.