ウルトラ兄弟の設定が誕生したのは、『帰ってきたウルトラマン』（以下『帰マン』）本放送中の1971年のことだった。当時、雑誌掲載権を独占していた小学館の学習雑誌『小学二年生』の編集長だった井川浩が、1971年8月号の誌面上でゾフィー、初代ウルトラマン（当時は古いウルトラマン、前のウルトラマンと表記）、ウルトラセブン、帰ってきたウルトラマン（後年、ウルトラマンジャックの名が設定される）の4人を兄弟と設定したのがウルトラ兄弟の始まりで、当時『小学二年生』で連載していた谷ゆき子の少女漫画『かあさん星』にヒントを得て「親子、兄弟物はうける」と確信していたからだという。

『80』終了と同時にテレビシリーズは長期の休止期間に入り、ウルトラ兄弟の設定が足枷となっている風潮が強くなると、円谷プロは「兄弟」や「ファミリー」の呼称を「ウルトラヒーロー」や「ウルトラ戦士」で統一化を図った（「5兄弟」は「ウルトラ5大戦士」、「6兄弟」は「ウルトラ6大戦士」といった具合）。このような状況は2000年代前半まで続き、第3期ウルトラシリーズ以降はウルトラ兄弟は設定が断片的に語られるという扱いで、兄弟の設定は日本国外製作の『ウルトラマンG』では主題歌「僕らのグレート」にその存在がバックボーンで語られるに留まり、『ウルトラマンパワード』でも劇中で宇宙警備隊やウルトラマンとの関連は示唆されたが、直接的にウルトラ兄弟の呼称が言及されることはなかった。

その一方、ファミリー設定はSD作品のアニメやゲーム、ライブステージなどで根付いており、ウルトラ兄弟に憧れた世代が子供が生まれて親となるころに徐々に設定が見直され始め、20世紀末には『ネオス』がオリジナルビデオ作品として実現した。さらに、21世紀になると雑誌展開の公式ストーリー『ウルトラマンノア バトルオブドリームNOA』やテレビシリーズ『ウルトラマンマックス』で、試験的に昭和作品世界を復活させた。

設定ではM78星雲 光の国の宇宙警備隊員のうち、地球防衛に当たったエリートというべきもので、いわば義兄弟である。しかし、劇中ではそのように明確に表現されたことはない。また、雑誌上での設定と劇中で描かれた設定が個別に積み重ねられてきた経緯があるため、細部まで統一された設定は存在していない。その由来については、以下のようにまとめられる。