El pedal izquierdo se suelta

En mi bicicleta, que acabo de construir con piezas de repuesto, el pedal izquierdo parece que se suelta constantemente. Parece que se suelta unos 5m cada vez que monto ~10km.

Es una vieja manivela de pasador de chaveta, y el pedal es un pedal izquierdo (hay una L estampada en el extremo del tornillo que va en la manivela). El pedal tiene una grieta en un lado del compartimento del eje, pero no creo que eso lo afecte.

Pensé que estos pedales tenían rosca izquierda para que la acción de pedalear funcionara para apretar el tornillo? Si es así, ¿por qué pasaría esto, y hay algo que pueda hacer al respecto aparte de reemplazar la manivela y el pedal?