Fuente de alimentación demasiado débil, ¿hay algún peligro?

Depende de la fuente de alimentación. Algunos tienen protección contra sobrecorriente, y otros no: se recomienda en el manual / hoja de datos (si tiene uno).
La mayoría de los suministros de calidad decente tendrán algún tipo de protección (limitación de corriente, corte térmico, fusible) y resistirán al menos sobrecorrientes temporales, y un buen suministro de banco debe soportar un cortocircuito indefinido.
Sin saber nada acerca de su suministro, sin embargo, es imposible decirlo.

EDITAR - por lo que es "un cargador de algún gadget antiguo".
En este caso, sin abrirlo, realmente no se puede decir qué hará si se sobrecarga. Probablemente, la salida solo caiga o se dispare por un tiempo, pero puede hacer cosas desagradables como sobrecalentarse y prenderse fuego si tienes mala suerte.

Sin embargo, si no está ejecutando ningún altavoz desde el amplificador, dudo que use 3 amperios. Dependiendo del tipo de amplificador (clase A, AB, etc.) puede consumir muy poca corriente cuando no está cargado. Esta información puede estar (debería estar) disponible en el manual.
Probaría la corriente de reposo con un multímetro para ver lo que dibuja, tal vez sea posible utilizar el suministro de banco si la corriente es lo suficientemente baja; tal vez haga esto para comenzar.

Depende de la calidad del diseño de su fuente de alimentación.

En el improbable caso de que no haya protección contra sobrecorriente, se calentará y, después de un breve período de tiempo, los componentes comenzarán a fallar de forma en cascada, de modo que, segundos después de que falle el primero, la fuente de alimentación completa desaparecerá.

Si tiene un límite de corriente común, el voltaje de salida permanecerá en 12 V hasta que se alcancen 3 A. A partir de entonces, la corriente no aumentará, el regulador disminuirá el voltaje de salida para evitar un aumento de corriente adicional. En el caso de que el voltaje de salida caiga a 0 V, la fuente de alimentación debe disipar una gran cantidad de energía, pero debería estar diseñada para hacerlo durante algún tiempo. La entrada probablemente será de al menos 15 V, luego la disipación puede ir a 15 V x 3 A = 45 W.

Una fuente de alimentación más avanzada utilizará limitación de corriente de retroceso , que resuelve el problema de disipación. Cuando hay sobrecorriente, no solo seguirá vertiendo 3 A, sino que disminuirá el voltaje y la corriente, por lo que la disipación interna seguirá siendo limitada. Normalmente, una fuente de alimentación no puede recuperarse a sí misma de un límite de corriente de retroceso, y necesita restablecerse. Por lo general, tendrá un botón para eso, por lo que no tendrá que apagarlo y encenderlo nuevamente.

Su suministro de banco puede ser caliente y electro. Las tapas se degradan rápidamente y tienen vidas más cortas. Si se superan pueden fallar. Considere usar un SLA pequeño o ácido de plomo en paralelo para cargar y operar las sobretensiones.

Mientras la carga de la batería V = 14.2 máx, funcionará como un automóvil.