Regulador de voltaje con voltaje inverso

He diseñado una simple placa de circuito PCB que funciona con 5V desde un USB, o si una batería está enchufada, funciona con un regulador de 3.3V y 5V. No soy un experto en electrónica, pero adjunto mi esquema a continuación.

MedicuentadequesiquitounD1cortodelcircuitoylotengoencendidoporUSB,laalimentaciónde5VdelUSBviajaráhaciaatrásatravésdelreguladorde5Vyalimentaráelreguladorde3.3V.

LosreguladoresqueestoyusandosonelLM1085ISXylahojadedatosseadjunta. Hoja de datos . En la página 12 de la hoja de datos dice que tiene diodos de protección que deberían evitar esta tensión inversa, por lo que estoy un poco confundido en cuanto a por qué sucede esto.

Sé que probablemente esta no sea la situación ideal, pero ¿está bien que esta tensión inversa fluya a través del regulador? ¿Podría dañarlo?