Smith családi életéről régóta tart már a történelmi vita, a mormonok mindeddig kitartottak amellett, hogy prófétájuk egyetlen asszonnyal, Emmával élt boldog házasságban. Az egyház most elismerte, hogy becslések szerint 30 és 40 között lehetett az egyházalapító felségeinek száma.
A mormon egyház az amerikai kormány nyomására 1890-ben szakított a poligámiával. A többnejűséget börtönnel és vagyonelkobzással büntették a 19. századi Egyesült Államokban.
A The New York Times-ban megjelent és az interneten is közzétett egyházi értekezés szerint Smith nem akart több feleséget, de feladta ezt az álláspontját, miután állítása szerint 1834 és 1842 között három ízben jelent meg neki egy angyal. Az egyház szerint utoljára kivont karddal jelent meg a próféta előtt, és pusztulással fenyegette meg, ha nem veti alá magát maradéktalanul a parancsolatnak. Smith a mormonok mozgalmában az olyan bibliai próféták “ősi elveinek” helyreállítását látta, mint Ábrahám, akinek több neje volt.
Smith az egyház szerint nem feltétlenül létesített szexuális kapcsolatot az összes feleségével, mert a házasságkötései közül több “az örökkévalóságnak szóló frigy” volt, egyfajta tartalék a túlvilág számára.
Második felesége Fanny Alger volt, akiktől azonban később különvált. Volt olyan időszak, amikor Emma Smith – akinek nem volt tudomása arról, hogy hitvese összesen hány nőt is vezetett oltár elé – négy asszonytársát volt kénytelen eltűrni a házban.