De la forma en que lo ha dibujado, el diodo Zener sujeta la fuente de alimentación reduciendo los 34V a 12V. Lo que es aún peor es que no hay limitación de corriente y el diodo será destruido.
El diodo Zener necesita una resistencia en serie para ocuparse de la diferencia de voltaje entre los 34V y los 12V.
Paracalcularelvalordelaresistencia,necesitasabercuántacorrientenecesitaeldiodoZenerycuántacorrientedebeiralacarga(elindicadordereferenciaensudibujo).LosdiodosZeneramenudoseespecificanaunacorrientebastantealtade50mA,aunquelostiposmásmodernosfuncionaráncorrectamenteaunacorrientedemenosde1mA.( Esta solo necesita 50 \ $ \ mu \ $ A.) Supongamos que necesita 10mA y que el opamp también consumirá 10 mA, es un total de 20 mA. Esa es la corriente a través de la resistencia. Como ya sabemos el voltaje en la resistencia, la ley de Ohm nos dará el valor:
\ $ R = \ dfrac {\ Delta V} {I} = \ dfrac {34V - 12V} {20mA} = 1100 \ Omega \ $
Si verifica la potencia disipada en la resistencia (algo que siempre debería hacer) verá que esto es 0.44W, así que use una resistencia de potencia de 0.5W.
editar
Mi respuesta original hablaba de 50mA zener actual. Eso es muy alto, y también me di cuenta de que a 50mA un zener de 12V / 400mA funcionaría fuera de especificaciones, como también señaló Jippie. Parece que la corriente alta solo se usa para voltajes más bajos (76mA para los 3.3V 1N4728A), y a 12V la hoja de datos habla de un valor más seguro de 20mA. Está bien usar una corriente más baja, aunque la regulación de la carga y la línea será peor.