Por poder, te puedes cambiar a Crusader a nivel 40 de job sin echar ninguna skill de Swordman en falta luego, la única que te pedirían si acaso sería Endure lv.1 para montar el Peco.
Yo ahora mismo tengo un Swordman que le cambiaré a Crusader también tan pronto llegue a nivel 41 de job (lo justo para tener Provoke lv5 y Endure lv5, Magnum Break no te servirá de nada), pero porque ahora mismo no tengo a nadie que me tanquee y me cuesta bastante subir niveles, de no ser así seguramente subiría Provoke al 10 y cambiaría al 46.
En definitiva, si quieres cambiar ya de job nadie ni nada te lo impide, la recompesa por llegar a nivel 50 tampoco es que sea la repanocha en la mayoría de los casos.