No es una buena idea, su cargador de batería se confundirá mucho con el consumo actual de la cosa de 3.3V.
Suponiendo que estamos hablando de dispositivos de baja corriente, la solución simple son dos diodos Schottky de la batería + y el riel de 5V a la entrada del regulador 3v3. De esa manera, cuando hay 5V, el regulador 3v3 usará la fuente de 5V, cuando no haya 5V, usará la batería.
El lado negativo es que pierdes un 0.2-0.3V que para 3.3V no te da mucho margen cuando se ejecuta desde una batería nominal de 3.7V. Si puede reducir el voltaje en su cosa de 3.3V a 3.0V, entonces tendrá mucho más espacio para la cabeza.
Puede evitar esta caída de voltaje utilizando un FET conectado como diodo ideal, reemplace el diodo de la batería al regulador con un canal p MOSFET, conecte la compuerta del MOSFET al riel de 5V. Cuando el 5V es alto, el FET está apagado y la batería no alimenta nada. Cuando los 5 V están bajos, el FET está encendido y la batería está conectada al regulador con pérdidas mínimas.
--- Actualización ---
Advertencia: supongo que está utilizando una batería LiPo con un circuito de protección incorporado en lugar de celdas desprotegidas. Las células LiPo no protegidas son muy peligrosas y propensas al desmontaje de alta energía no programado si haces algo que no les gusta. Nunca debe conectarlos a nada que haya diseñado a menos que sepa exactamente lo que está haciendo.
Nota: todo esto suponiendo que estamos hablando de una solución simple para un proyecto de hogar donde la simplicidad es más importante que maximizar la funcionalidad. Habrá problemas con las bajas temperaturas y si no se apaga correctamente la baja tensión, la batería sufrirá daños a largo plazo que reducirán su capacidad con el tiempo. Para un producto comercial completo, este enfoque completo es inadecuado y necesita utilizar un método más avanzado de administración de energía.
