Necesitas algo más complejo que un simple interruptor para evitar cambios bruscos en la señal al cambiar el nivel de la señal.
Es probable que deba atenuar la señal suavemente durante un corto período de tiempo utilizando un digipot (atenuador controlable).
Incluso entonces puedes generar ruido de cremallera. Este es un enlace a un diseño que evita esto cambiando solo el nivel en los cruces por cero. Elimine el ruido de la cremallera
Alternativamente, puedes usar un atenuador analógico alimentado con una rampa para habilitar o deshabilitar.
Puedes usar MOSFETS o incluso diodos.
Una forma es un atenuador basado en diodo de derivación: la corriente a través del diodo controlará cuánta atenuación se da a la señal. Este tipo de atenuador solo sirve para algunas decenas de milivoltios de señal o se producirá una distorsión, por lo que deberá bajar el nivel de entrada y amplificarlo en la salida. La red de condensadores y resistencias de 100uF hace que la señal de control aumente y disminuya con el interruptor.
simular este circuito : esquema creado usando CircuitLab