El problema es que su amplificador tiene una impedancia de salida distinta de cero (como hacen los amplificadores reales), y la carga de los dos filtros (LP y HP) está causando que la tensión de salida caiga.
Para solucionar esto, ajuste los valores de filtro para que las frecuencias permanezcan iguales pero la impedancia a tierra sea mayor. Por ejemplo, intente aumentar la resistencia en los filtros en un factor de 10 o 100 y disminuya la capacitancia en la misma cantidad.
Esta modificación cargará menos el amplificador de búfer y le dará una respuesta de prefiltro mucho más plana.
Debido a que me gustan mucho las LTSpice, aquí están las simulaciones relevantes (ignoré el MOSFET, no debería cambiar las cosas demasiado. Sin embargo, cambiará las cosas un poco y deberías comprobarlo):
El circuito original:
Larespuestadefrecuencia.Notanbien. 
Aumentarlasimpedanciasdelfiltro(aumentarlasresistencias,disminuirloscondensadores),peromantenerlasfrecuenciasdefiltrooriginales(queahoradebenajustarse,porcierto,ahoraquelacargaenlaetapadebúferhacambiado.SugierocambiarC3a~47nFparabajarlaesquinadelfiltrohaciaabajo). 
Comodijeanteriormente,deberásreajustarlasesquinasdelfiltro.Debidoaloscambiosdeimpedancia(lasimpedanciasdelfiltroestabaninteractuandoconlatapadesalidayotrascosas),lasesquinasdelfiltrosehanmovido. 
Más ediciones:
Después de inspeccionar el análisis de transitorios, es evidente que el amplificador de su transistor está saturado (no desea esto, tendrá armónicos molestos en los filtros y dará lugar a un órgano de color no tan bueno).
Querrá ajustar esa primera etapa para no tener tanta distorsión. (O vaya por la ruta fácil y use un amplificador operacional).
