Necesitas un regulador de voltaje.
Lamentablemente, ha especificado baterías que están muy cerca de la tensión de funcionamiento de su sistema. Si puede usar 5 baterías en lugar de 4 (lo que le da 6. algo a 5V, en lugar de 5. algo a 4V), un regulador lineal de baja caída será una solución simple y fácil. El estándar 7805 tiene un abandono demasiado alto para este propósito, pero hay otros reguladores compatibles con pin; querrás que un TO-220 disipe la potencia que el Beagleboard puede obtener a plena carga.
Si debe usar 4 baterías, debe disipar el exceso de voltaje como calor a través de un MOSFET cuando el voltaje es mayor que 5V, y encienda el MOSFET si el voltaje es menor a 5V. Se está quedando un poco sin especificaciones cuando está por debajo de 5 V, aunque no estoy seguro de cuál es el voltaje mínimo absoluto para la placa.
Si desea la mejor solución posible, un regulador de potenciador le proporcionará una eficiencia óptima para voltajes ligeramente por encima y ligeramente por debajo de 5V. Incluso podría utilizarlo con una sola batería o con voltajes mucho más altos que 5V. Sin embargo, esta es una solución cara y complicada. Recomiendo usar solo 5 baterías y un LDO.