Por lo que puedo ver, no tiene ningún condensador de desacoplamiento de la fuente de alimentación en ninguna parte de su colección de placas de pruebas. No es de extrañar que sea "delicado" y sensible a los problemas técnicos.
Debe colocar aproximadamente 100 µF (electrolítico) en cada una de las regletas de alimentación en su configuración, y en algún lugar en el rango de 0.1 a 1.0 µF (cerámica) directamente a través de los pines de potencia de cada chip.
A pesar de que se está ejecutando a velocidades de reloj glacialmente lentas, los "bordes" (transiciones) de las señales siguen ocurriendo muy rápidamente, y hacen que salgan picos de corriente de los rieles eléctricos que pueden alterar fácilmente los circuitos cercanos. Esto se ve exacerbado de alguna manera con las capacidades parásitas relativamente grandes asociadas con las placas de apoyo: la construcción de PCB sería mucho más "silenciosa", pero aún sería necesario desacoplar.
Otra mala práctica que te recomendaría que detengas es poner LED desnudos en las salidas lógicas. Al menos use algunas resistencias en serie para limitar la corriente a unos pocos mA. Sin ellos, está limitando severamente el rango de voltaje de sus señales, lo que cortará sus márgenes de ruido y dará lugar a problemas difíciles de diagnosticar más adelante. Mejor aún, utilice chips de búfer para controlar sus LED.