La causa más probable es el ruido de la fuente de alimentación.
Las fuentes de alimentación USB de 5V asumen que no tienen que limpiar la salida de la fuente de alimentación de conmutación, ya que la usarán para cargar un dispositivo: al circuito de carga del dispositivo no le importa el ruido, y El dispositivo en sí se ejecuta fuera de la batería.
En el momento en que la corriente del cargador llega a cualquier etapa de audio, ha pasado por el regulador de carga, varias cantidades de filtrado y la propia batería (que puede tragar algo / todo el ruido).
Pero, lo está utilizando para alimentar el amplificador directamente, de modo que obtenga el efecto completo del ruido de conmutación.
Este tipo realizó algunas pruebas.
Como se puede ver en las imágenes del osciloscopio, hay mucho ruido.
Me gusta esto:
Hay mejores y peores, pero sí, el ruido de un cargador USB es de esperar.
Necesitará realizar un filtrado de sus líneas de 5V y GND si desea usar ese cargador.
Lo más fácil es probablemente obtener un cargador de 9 voltios y usar un regulador lineal de 5 voltios. No necesita un regulador LDO (Low DropOut), solo un regulador lineal de variedades de jardín como el 7805 que mencionó.
En realidad, probablemente podría ejecutar el amplificador directamente de la fuente de alimentación de 9V si está limpio. Si no, usa tu 7805.