Si el tiempo es relativo, ¿podríamos cambiar que los días duren 50 horas en lugar de 24 si todo el mundo se pone de acuerdo en esto?

Creo que no has entendido en absoluto lo que se quiere decir con la relatividad del tiempo. :-D

Pero respondiendo a tu pregunta, sí, por supuesto que eso de las 50 horas (que no tiene nada que ver con si el tiempo es relativo o no) se podría hacer si nos pusiéramos de acuerdo. De hecho, ha habido varias propuestas para decimalizar la medida del tiempo (como en el sistema métrico decimal), en vez de ese absurdo mezcladillo de las 24 horas de 60 minutos de 60 segundos directamente heredado de unos babilonios de hace 5.000 años a los que no se les ocurrió nada mejor.