La primera regla de un sistema de control es nunca obtener información tarde. Desafortunadamente, esto es exactamente lo que hacen los filtros de paso bajo en la ruta de retroalimentación. En particular, R13, C8, R12, C3 y C6 causarán problemas de estabilidad en el modo de límite de corriente. También el hecho de que el IC3B se esté ejecutando en bucle abierto significa que la señal de apagado actual se cerrará de un lado a otro. Básicamente, está alimentando una señal digital en un bucle de control lineal. Eso está bien para algo como un cierre duro, pero no va a funcionar para ningún tipo de regulación.
Lo anterior está asumiendo que el desorden en la esquina inferior derecha de su esquema es un sentido de corriente, de modo que su pin de SALIDA es, en última instancia, un voltaje referenciado a tierra proporcional a la corriente a través de R_Shunt. El resto de su esquema es mayormente razonable, pero este problema debe ser arreglado. ¡Ni siquiera hay un designador de componente para ese chip, y mucho menos una indicación de lo que es!
Si desea ajustar el controlador para una buena respuesta, debe hacer un análisis cuidadoso. Esto generalmente se hace en el dominio S (transformadas de Laplace) mirando polos y ceros. No voy a entrar en eso aquí. Si desea mantenerlo simple y está dispuesto a renunciar a algo de rendimiento, entonces use la regla fácil que dice para asegurarse de que el controlador tenga el ancho de banda más bajo de cualquier cosa en el sistema.
En el modo de voltaje, su controlador es IC3A, lo que se controla son los FET y la respuesta es R10 y R9. Ese es un sistema sencillo que parece razonable, excepto para C7. Yo pondría C7 directamente entre la entrada negativa y la salida de IC3A. Eso efectivamente ralentiza el controlador. Más capacitancia lo hace más lento. Finalmente, llega a un punto donde el sistema es lo suficientemente estable. AC-wise, Vregulated y Voltage_Ctrl están lo suficientemente cerca como para que C7 siga funcionando en gran parte donde está, pero sería mejor donde lo describí. Para permitir valores más pequeños de C7, haga que R10 y R9 sean más grandes, como 10 kΩ, por ejemplo.
En una nota aparte, ¿para qué es D1? A menos que piense que la carga puede hacer retroceder esta fuente de alimentación, eso es solo un desperdicio de una caída de voltaje del diodo.
Añadido:
Ahora que se ha aclarado que este circuito es para cargar una batería de plomo-ácido de "12 V", son posibles recomendaciones más específicas.
Sabemos que la carga no cambiará repentinamente, por lo que la respuesta transitoria no es una consideración importante. Por lo tanto, compensar a IC3A con un límite desde su salida a su entrada negativa es suficientemente bueno. Encuentra el valor del límite que parece estabilizarlo y duplícalo. La respuesta será lenta, pero nuevamente, eso importa poco para cargar una batería.
Para limitar la corriente, creo que sería más fácil usar un controlador separado con los FET controlados por la menor de las dos tensiones de salida del controlador. Esto podría ser tan simple como la OR de diodo entre los dos, aunque eso requeriría una recuperación para que los FET se eleven, lo que haría que la unidad alta y baja sea asimétrica. Una posibilidad es hacer ORing de diodo de las salidas opamp de control de modo de voltaje y corriente, luego almacenar en búfer con un tercer opamp que acciona las puertas FET.
La parte más complicada será asegurarse de que no haya inestabilidad cuando el suministro se cruce entre el modo de regulación de corriente y voltaje. Creo que si cada uno de los dos controles operativos se ralentiza lo suficiente con un límite entre su salida y la entrada negativa, esto debería estar bien. Se requerirá alguna experimentación. Afortunadamente, usted está en posición de errar del lado de la respuesta lenta en favor de la estabilidad, por lo que todo esto debería ser factible.