CSS3D時計を操作したいときだけpointer-eventsを有効化し、普段はWebGLカメラを操作できるよう切り替える想定です。ボタンで状態を試してみてください。