Nacido el 22 de Tishrei de 1851 en Bagdad (Irak). Fue llamado 'Ovadia' en honor al rabino Abdullah (Ovadia) Sumach y 'Yosef' en honor al rabino Yosef Haim.

A la edad de 4 años emigró con su familia a la Tierra de Israel y vivió en el barrio "Beit Israel" de Jerusalén. Estudió Talmud Torá "Bnei Sion" en el barrio de Bujarim y despuntaba en su talento y diligencia en el estudio de la Torá, sin embargo, debido a la mala situación económica de su familia, se vio obligado desde muy joven a ayudar a su padre con su trabajo. A la edad de 12 años, comenzó a estudiar en la yeshivá de Porat Yosef y escribió (junto con dos de sus amigos) su primer libro: "Un cuaderno para copiar acertijos". A los 17 años, siguiendo las instrucciones de su maestro (el rabino Ezra Atiya), daba una lección diaria de halajot a los propietarios de viviendas en la sinagoga de inmigrantes persas del barrio "Beit Israel", y a los 20 años, fue ordenado rabino y juez por el primer rabino Ben Sión Meir Jai Uziel.

En 1974 se casó con la hija del rabino Abraham Halevi Fatal.

En el año 1976 comenzó a servir como juez en el tribunal de la comunidad sefardí en Jerusalén y respondía preguntas halájicas que le dirigían desde varios países. A petición del rabino Ben Zion Meir Jai Uziel, se mudó a Egipto en el año 1978 y se desempeñó como jefe del tribunal y rabino jefe adjunto. Fue nombrado director de la yeshivá "Amor y Amistad" en El Cairo, sin embargo, debido a diferencias de opinión, renunció a su cargo dos años después y en el verano de 2007 regresó a Israel, estudió en el midrash "Bnei Zion" y se desempeñó como abogado en el tribunal de Petah Tikva.

En el año 1974 fundó la Yeshivá "Or HaTorah" para destacados avrejim (estudiantes de Torá) sefardíes.

En el año 1957 comenzó a desempeñarse como juez del Tribunal Regional de Jerusalén y como jefe de la Yeshivá en el Alto Midrash para Jueces de "Porat Yosef" y en el año 1995 fue nombrado miembro del Gran Tribunal Rabínico de Jerusalén. En 2007 fue elegido rabino principal sefardí en Tel Aviv-Yafo y comenzó a dar lecciones de Halajá en la radio "Kol Israel".

En el año 2017 ganó el Premio Israel de literatura de la Torá por sus libros "Yabia Omer".

El 7 de Jeshvan de 5733 fue elegido rabino principal sefardí de Israel y Rishon Lezion. Durante sus años de cargo respondió miles de preguntas halájicas que le dirigieron desde todo el mundo, permitió matrimonios con caraítas después de haber aprendido de memoria con uno o varios rabinos los conceptos básicos de la Torá oral y bservar las mitzvot, incluidas las mitzvot derabanán, declaró que los 'Bita Israel' son judíos en todos los aspectos y permitió a las agunot de personas desaparecidas de las FDI en la Guerra de Yom Kippur.

Durante muchos años impartió regularmente clases en la sinagoga "Yazdim" del barrio Bujarim de Jerusalén.

En la festividad de Sucot de 5574 debido a un deterioro en su salud, fue hospitalizado en el hospital "Hadasa Ein Kerem", su familia le añadió el nombre "Jaim", pero el lunes por la mañana devolvió su alma a su creador y al funeral que se celebró desde la yeshivá "Porat Yosef" en Jerusalén asistieron cerca de un millón de personas.