Las respuestas aquí se saltan una característica importante: un agujero no es un electrón faltante. Un agujero es un átomo semiconductor que tiene protones adicionales en relación con sus electrones.
Un agujero es una carga positiva genuina. Cuando un agujero se mueve, una carga positiva ha adoptado una nueva ubicación.
Tomemos el caso simple de átomos de hidrógeno neutros. Si eliminamos un electrón, nos quedamos con un protón desnudo: una carga positiva. Un protón no es un "electrón faltante". La carga positiva no es una "falta de electrones", sino que es un tipo genuino de carga por derecho propio.
La pregunta OP sería válida si el silicio estuviera hecho de electrones solamente. Entonces, cualquier "agujero" sería simplemente una brecha en la población de electrones, y si el agujero se mueve, en realidad son electrones que se mueven hacia atrás. Pero el silicio está hecho de carga cancelada: igual carga positiva y negativa. Un "agujero" es una brecha en la población de electrones que expone un protón oculto. Un agujero es una carga positiva genuina.
Con la analogía del cine, la imagen completa sería colocar bombillas rojas en todos los asientos. Estos son los protones. Ahora deja que la audiencia de electrones se siente en los asientos y cubra las luces. Si hay huecos en la audiencia, en el teatro oscuro veremos luces rojas brillantes en la ubicación de "cargas positivas". Estas son las luces rojas que no han sido canceladas por un electrón. Si una persona cambia de asiento, entonces la ubicación de la luz roja se moverá hacia otro lado.
Así que esa es la respuesta: a nivel micro, sí, los electrones están cambiando para cubrir o revelar las cargas positivas. Pero desde una vista lejana, no hay cambios de electrones. Son indetectables, no importantes. Es la posición cambiante de las cargas positivas que dominan. Todo lo que vemos en el cine oscuro son algunas luces rojas extremadamente poderosas que de repente saltan de un asiento a otro.