Tomaré una conjetura aquí: también es necesario supervisar la salida. Sospecho que su salida se dispara aleatoriamente y que el transitorio se está devolviendo a la entrada. No ve el efecto en la - entrada debido al filtrado de paso bajo de C1.
Como dijo Olin, necesitas desesperadamente más luz. Consiga un LED de 3W (por ejemplo) en eBay: son baratos.
Haz los cálculos y verás que solo obtienes aproximadamente 1/2 microampo de tu DP.
Ahora, sobre la selección de circuitos. Comience con su simple circuito. ¿Cuál es su velocidad de respuesta intrínseca? Digamos que tienes 20 pF equivalentes en toda la resistencia. Luego, dado que la DP está actuando como una fuente de corriente y tiene (efectivamente) una impedancia infinita, la respuesta en el amplificador será un filtro de paso bajo de un solo polo con una constante de tiempo RC. En este caso, (20 x 10 ^ -12) x (36 x 10 ^ 3) da .72 x 10 ^ -6, o aproximadamente 0.7 usec. Esta es una respuesta decente (pero no excelente) si está buscando la precisión de usec. La cosa es que su señal es muy baja y su comparador no está realmente a la altura de la tarea. Tenga en cuenta que un 393 tiene un voltaje de desplazamiento de entrada de hasta +/- 9 mV y está buscando una diferencia de 4 mV.
Entonces, ¿cómo puedes obtener más señal? Bueno, en este caso podrías intentar aumentar R1 / R2. El problema es que cuando haces eso, aumentas la constante de tiempo de entrada. Si aumenta en un factor de 10, obtendrá 200 mV con una separación de entrada de 40 mV (¡yay!) Con una constante de tiempo de 7 usec (¡boo!). ¿Qué hacer?
La solución clásica es el TIA. Aquí puede obtener un tiempo de respuesta mucho mejor para el mismo nivel de señal. En este caso, sin embargo, tratar con cambios en el nivel ambiental puede ser un problema. Mientras el ambiente cambie lentamente y sea comparable al nivel del LED, puede hacerlo bien.
Un problema que a menudo se pasa por alto cuando se considera un TIA es que, cuando se usa el PD en modo fotoconductor, se necesita un segundo voltaje de polarización de polaridad opuesta, mientras que el circuito directo solo requiere una fuente de alimentación. Bueno, está bien, puede hacer un pequeño convertidor DC-DC para suministrarle un suministro, pero no lo recomiendo debido a los problemas de ruido que presentará. Tal vez cuando tengas más experiencia.
Pero observe que la complejidad del TIA frente al enfoque de detección directa depende de la suposición de que la corriente de DP es baja. Eso es cierto en este caso, pero ¿tiene que ser así? Con más corriente puede usar una resistencia de carga más pequeña y obtener una respuesta más rápida. Como he dicho, puede obtener LED de 3W IR de alta potencia en eBay por poco dinero. Use uno de esos cachorros y obtendrá una corriente PD mucho más alta y un voltaje de entrada más alto (con un diferencial de voltaje mayor en el estado de reposo). Agregar un filtro IR barato frente a la DP es SIEMPRE una buena idea, también. Por supuesto, se necesita una corriente de LED mucho mayor, y esto afectará la selección de la batería, pero esa es una compensación que deberá realizar.
Como empecé a decir, sospecho que, con la diferencia de voltaje en reposo mucho menor que la compensación de entrada garantizada, el comparador se está cambiando al azar, y los transitorios se están alimentando de nuevo a la entrada y aparecen. Por curiosidad, ¿tiene un condensador de desacoplamiento en el comparador? ¿Como, una cerámica de 0,1 uF colocada tan cerca como sea humanamente posible de los pines de potencia / tierra? ¿Tienes un plano de tierra? Ambos pueden ser un problema.
TL: DR: obtén un LED más robusto. Y poner un filtro IR en el fotodiodo. Y presta atención a tus técnicas de construcción.