La única respuesta segura es hacer solo lo que la hoja de datos dice que está permitido.
Eso no significa que abusar de los límites siempre hace que el dispositivo funcione incorrectamente o lo dañe. Solo significa que estas cosas podrían suceder, y el fabricante está descolgado si lo hacen.
Probablemente lo que sucedió en su caso es que los diodos de protección de los pines en el procesador estaban polarizados hacia delante. Digamos que se redujo a 600 mV hacia adelante, por lo que 3.9 V en relación con el suelo. Eso significa que la corriente a través de ellos fue (1.1 V) / (3 kΩ) = 370 µA. Eso podría ser malo, dependiendo de lo que diga exactamente la hoja de datos al respecto.
Para algunos dispositivos, las corrientes inesperadas como esta pueden hacer que se apaguen las palancas al encenderse. Para otros, en su mayoría funcionarán bien, pero algunas cosas, especialmente cualquier cosa análoga, se vuelven inestables. Para otros, continúan funcionando bien.
Cuando viola los parámetros de la hoja de datos, no sabe lo que obtiene. Preguntar qué puedes obtener es la pregunta incorrecta y, simplemente, irresponsable. No estamos aquí para ayudarlo a practicar ingeniería eléctrica irresponsable.
En su caso particular, simplemente conecte los pullups a 3.3 V. Los umbrales de voltaje IIC se especifican para que esto funcione. Compruebe sus dispositivos esclavos para asegurarse de que 3.3 V esté sólidamente por encima del nivel lógico mínimo garantizado.