El LM317 Hemal sugiere que no es bueno. Al igual que la mayoría de los reguladores de tres patas (78xx), necesitan unos pocos voltios de diferencia de entrada-salida, por lo que necesitarías algo como 6.5V.
La solución es un regulador LDO , para Low Drop-Out. Se utilizan de la misma manera que el 78xx, es decir, hay una entrada de entrada a tierra, pero solo necesitan unos pocos cientos de milivoltios entre entrada y salida.
Si solo necesita una corriente baja, también podría usar un diodo para la caída de 0.7V, como un 1N4001 le daría, pero esa tensión aumentará si tiene una corriente más alta, por lo que su voltaje de salida puede disminuir hasta 4.0 V.