Una parte de la sabiduría del Rebí Yosef Sharvit nació de su madre Hanna y de su padre, el Rabino Majluf Sharvit, el día 22 de Shevat de 5682 (1922) en Marruecos.
En el año 5694 (1934), se trasladó con su familia a la ciudad de Fez, donde estudió el Im HaBaním (la Madre de los Hijos) con Rebí Mimón Miara. Luego continuó sus estudios en la yeshivá con Rebí Meir Israel.
En el año 5709 (1949), partió con su familia para subir a Israel. Llegaron al campamento de inmigración en Argelia, pero los representantes de la Agencia Judía impidieron que su padre anciano subiera con ellos. Solo cinco años después, en el año 5713 (1953), lograron subir a Israel. En Israel, fue examinado por el Rabino Ovadia Hadaya para el puesto de rabino, y fue nombrado Rabino regional en el Galilea Occidental. Se instaló en el moshav Goran y atendió las comunidades rurales alrededor de Nahariya. En el año 5715 (1955), fue elegido Rabino de la ciudad de Bet Shean, y en el año 5720 (1960), comenzó a servir como Rabino de la ciudad de Ashkelon. En el año 5733 (1973), fue elegido miembro del Consejo del Rabinato Principal de Israel, y en el año 5751 (1991), fue nombrado Dayán (juez religioso) en el Tribunal Supremo Rabínico.
El día 20 de Tishrei de 5734 (1973), su hijo Mijael murió en la batalla de la granja china durante la Guerra de Yom Kipur, en el área del Canal de Suez. En su memoria, se construyó una sinagoga llamada Yad Michael en el barrio de Barnea en Ashkelon.
Entre sus escritos se encuentran: ‘Orjot Yosher’ (Caminos de la Rectitud), una colección de responsa en tres volúmenes; Ner Mijael (La Luz de Mijael), un libro de sermones y elogios para su hijo; ‘Emre Yosher’ (Palabras de Rectitud), un libro de sermones, textos bíblicos y leyes religiosas. Al final de este último se imprimió un folleto llamado Miftej Yosher (La Llave de la Rectitud), un índice y una introducción a todos sus escritos por el Rabino Elad Portal.
Rebí Yosef Sharvit fue llevado al mundo eterno el día 8 de Nisán de 5776 (2016), y fue sepultado en su ciudad de Ashkelon.
