No debe utilizar un panel solar conectado directamente a una batería de litio. Esto destruirá tu batería pronto. En su lugar, debería encontrar un panel solar que tenga un voltaje de Vmpp de aproximadamente 3,5 V y usar un cargador de batería específico para li-po conectado.
Las baterías Li-po utilizan una carga de corriente constante de hasta un 60% de carga y luego terminan con voltaje constante a aprox. 4.2V. Para la corriente constante, se recomienda hasta 1C, por lo que a 4000 mAh puede cargar con hasta 4A. Su panel es de 3.2 vatios, por lo que la limitación de la corriente de carga no será un problema.
No puedo decir si el cargador de su primer enlace funcionará, ya que está clasificado a 4.5-5.5V. Puede funcionar, pero perderá algo de energía por no trabajar en el punto de máxima potencia (MPP).
Puede obtener un mejor resultado simplemente usando un circuito de corriente constante, ajustando la corriente de carga para que la tensión de su panel solar esté cerca de Vmpp la mayor parte del tiempo, seguido de un limitador de voltaje a 4.2V. Eso requerirá solo unos pocos componentes y será más eficiente.