simular este circuito : esquema creado usando CircuitLab
No creo que la respuesta de Horta ayude. A partir de la descripción, esto sucede cada vez que la radio comienza a recibir, en lugar de solo cuando la radio está encendida.
DC es de lo que quieres deshacerte. Un condensador tiene una alta resistencia a bajas frecuencias, y una bobina (el altavoz) tiene una baja resistencia a bajas frecuencias.
Cuando se activa el amplificador, se obtiene un "paso" en el voltaje de CC de cero a algo menor que el voltaje de la batería de la radio. Necesitas bloquear el DC. La bobina en sí tiene una alta resistencia a los componentes de mayor frecuencia del paso, por eso es un "golpe" en lugar de un "clic" más agudo.
Un condensador en serie con su altavoz debe minimizar el "golpe".
Intentaría al menos 20uF. Necesitará un condensador electrolítico, así que verifique de qué manera está polarizada la salida del altavoz y mida qué tan alto es el voltaje de CC. Deberá observar la polaridad al conectar el capacitor, y deberá obtener un capacitor con una tensión nominal mayor a la que mide.
Si simulas el diagrama, verás que reduce el "golpe" a solo unos pocos milivoltios.
He agregado una simulación de una señal de audio que alimenta el circuito LC en el diagrama. El audio es de 3 dB a 300Hz, que es donde estaba grabando. Hay una joroba de 40dB a 500Hz que no esperaba. Menos de 20uF empujaría la joroba hacia arriba tanto como el corte. Probablemente quieras subir más de 20uF.