No tengo una respuesta definitiva para ti en este momento, pero veamos si podemos comenzar a tener sentido para esto, junto con la comunidad.
Lo primero que se debe tener en cuenta aquí es que el motor de CC es un inductor. Y tendrás que tener cuidado al cambiar de inductores; después de todo, así es como cambias las fuentes de alimentación.
Cuando Q3 está conduciendo, la corriente comienza a fluir desde 12VDC al suelo a través de la bobina del motor (olvidemos el cepillo por un tiempo). Así que induces una corriente en un inductor. Pero cuando Q3 deja de conducir, la corriente no se detiene. Se formó un campo magnético dentro del inductor que tiene energía que quiere seguir empujando electrones. Si D3 no estuviera allí, se acumularía un voltaje realmente grande en M1, ya que la corriente no tendría a dónde ir. Los convertidores elevadores utilizan este fenómeno para aumentar la tensión.
Pero en su circuito hay D3, así que cuando Q3 deja de conducir, hay una ruta para que fluya la corriente; La corriente fluye hacia el suministro de 12VDC. ¿El suministro sigue funcionando correctamente, por cierto? Si la fuente de alimentación no desea absorber la corriente, la corriente continúa fluyendo hacia el inductor del motor; da vueltas y vueltas hasta que la resistencia y otras pérdidas absorben la energía.
Bien, ahora trae de vuelta el pincel, el elemento pícaro aquí, lo que podría explicar algunos de los fenómenos. Lo que hace el cepillo, cambia la polaridad de la bobina del motor durante la rotación del motor. Y en este punto me resulta difícil pensar lo que podría estar sucediendo, con suerte alguien más pueda ayudar. ¿Podría traer un gran voltaje negativo al colector de Q3? ¿Qué significaría eso?
Un defecto crítico en su diseño es que nunca debe ajustar el funcionamiento de un motor de CC en un punto donde se detenga girando. No está destinado a ser usado de esa manera. Escuchará el zumbido de las bobinas, pero no pasa nada. A veces, mata el motor, pero quizás no en tu caso.
Finalmente, es un motor DC y le está proporcionando AC o Corriente Alterna. Básicamente eso no es bueno. Debe usarse al menos algo de filtrado para hacer que sea más DC. Expertos en motor, por favor ayuda.
[Editar] La comunidad sugiere que no es un problema usar motores de esta manera.
Espero que esto ayude un poco.