El problema es que está suministrando el enchufe USB con las baterías, lo que da un total de aproximadamente 4.5V (el panel está polarizado a la misma tensión). Dado que el ventilador es una carga simple, simplemente girará a la velocidad que puede ir (¡tenga cuidado con la corriente!).
El teléfono móvil es más exigente con el voltaje de carga y, según el modelo, esto puede ser más o menos estricto. Debes verificar las especificaciones del cargador del teléfono y, finalmente, crear una versión que coincida con los requisitos.
Actualizar
La clasificación de voltaje del panel es indicativa, y se cumplirá solo en condiciones de iluminación determinada (por encima de un nivel mínimo) y de carga (circuito abierto o corriente muy baja). Quien determina el voltaje es la batería, y en este caso es 4.5V. Luego, el panel dará una corriente que se define por una curva como la que se muestra a continuación.
Seguro que puede usar un paquete de 4 baterías, pero entonces su panel no estará desfasado cerca del punto de máxima potencia (MPP), que generalmente es alrededor del 70-80% del voltaje máximo (en este caso, alrededor de 4.5 V ).
Así que puedes usar una batería más y luego bajar el voltaje a 5V, pero recibirás menos energía del panel; o puedes usar 3 baterías y subir.