Realmente necesitas un interruptor para controlar de dónde proviene la energía, al menos quieres algún tipo de limitación de corriente.
Sin dicho control, tanto el LDO como el bus USB pueden proporcionar + 5V, pero habrá pequeños desplazamientos entre los dos niveles de + 5V que pueden hacer que fluyan grandes corrientes ya que la resistencia entre los suministros en su diseño es muy baja.
La corriente del controlador de host USB debe limitarse a 100 mA si no ha solicitado más energía, pero el hecho de que el limitador de corriente rebote puede causar problemas según la implementación de la limitación. Esto podría limitarse si el LDO tiene un diodo de protección interno o si lo suministra externamente.
Si el + 5V es ligeramente superior en la placa cuando se suministra desde el conector, entonces la corriente volverá al controlador host, lo que parece ser el problema que está viendo. Esto podría causar muchos problemas de varias formas en el lado del host.
Básicamente, lo que necesita es O BIEN la alimentación del bus USB con la salida de LDO y evitar el flujo de corriente inversa.
Esto se puede hacer con un par de diodos, uno en cada línea de suministro, apuntando hacia el microcontrolador. Sin embargo, la caída de tensión directa desde el diodo será aproximadamente de 0.5V. Con una entrada USB que puede llegar hasta 4,75 V, la tensión de alimentación en el microcontrolador puede ser tan baja como 4,25 V que puede estar fuera del rango operativo del microcontrolador.
En ese caso, hay dispositivos especiales diseñados para este propósito, aquí hay un ejemplo . Dicho dispositivo reducirá su caída hacia adelante a 50 mV o menos en la mayoría de los casos.
Si también necesita admitir el modo de suspensión del dispositivo USB, también debe manejar un límite de potencia de 500uA en este modo. Esto requerirá un interruptor de habilitación de alimentación externa que básicamente apaga todo, incluido el regulador.
EDITAR: Si no te importa que no sea automático, solo puedes poner un puente en el tablero para elegir entre las fuentes de alimentación.
EDIT2:
Disculpe la mala edición de la imagen, pero espero que esto aclare lo que estoy diciendo. Esto es lo que harías para O los dos rieles de + 5V con diodos: