Solo puedo especular, ya que no mencionó lo que midió el voltaje de entrada en carga (o al menos no dijo si estaba bajo carga o no):
Usted está operando cerca del límite inferior del voltaje de entrada. Es posible que sus baterías estén a 3.54 V sin carga, pero el ESR de la batería y el estado de carga (así como cualquier cableado entre ésta y la placa) pueden hacer que se caiga cuando usted tira de la corriente. Quizás exista un mecanismo de subtensión para apagar el suministro cuando la entrada es demasiado baja. Si es así, activaría y apagaría el regulador, lo que resultaría en ... eso es correcto, disminuir el consumo de corriente. El voltaje de la batería se recupera rápidamente, y en ese punto el regulador vuelve a funcionar.
Si esto es lo que está sucediendo, puede medir el voltaje en la entrada de su placa y ver si está bajando a < 3V cuando su dispositivo de 5V está conectado.
Si ese es el caso, sugeriría probar un suministro de banco, pero sospecho que se supone que es su suministro de banco. Asegúrese de que todo el cableado de la batería sea lo más corto y sólido posible, para eliminar eso como causa. Si esto falla, intente conectar más baterías en paralelo para ver si hay una diferencia.