Dalam tahun 1950 hingga awal tahun 1960, beberapa persatuan Islam telah ditubuhkan di negeri Sabah. Persatuan-persatuan Islam yang ada ketika itu ialah Persatuan Islam Putatan yang dipimpin oleh Imam Ahmad Mus Haji Ismail, Persatuan Islam Sabah, diketuai oleh Tuan Haji Yusof Shamsuddin dan Persatuan Islam Tawau, diketuai oleh OKK Zainal Kerahu.

Pada tahun 1961, Persatuan Islam Putatan dan Persatuan Islam Sabah telah mengambil inisiatif menjemput YAB Tun Datu Haji Mustapha bin Datu Harun bagi mempengerusikan satu Majlis Perbincangan yang diadakan di kediaman Tuan Haji Yusof Shamsudin di Kg. Sembulan Baru, bertujuan untuk mendapat kata sepakat bagi menggabungkan persatuan-persatuan Islam yang wujud di Borneo Utara supaya menjadi sebuah persatuan yang besar dan kuat. Namun rancangan ini tergendala seketika kerana proses pembentukan Malaysia sedang berjalan rancak pada waktu yang sama di mana YAB Tun Datu Haji Mustapha bin Datu Harun sendiri terlibat secara aktif.

Keputusan masyarakat Islam Sabah untuk menyertai Persekutuan Malaysia dipengaruhi oleh kesedaran bahawa bilangan umat Islam di negeri ini jauh lebih kecil berbanding bilangan non-muslim. Oleh yang demikian, gabungan tersebut memberikan keyakinan kepada umat Islam di Sabah bahawa nasib mereka pada masa akan datang mendapat jaminan dan perhatian daripada saudara-saudara Islam di negeri-negeri lain di Malaysia.

Tahun 1969, YAB Tun Datu Haji Mustapha bin Datu Harun mengundang 3 persatuan tersebut dan susulannya membentuk Kongres Masyarakat Islam pada 14 Ogos 1969 di Dewan Masyarakat Kota Kinabalu.

Kongres tersebut berjaya mewujudkan United Sabah Islamic Association (USIA) yang kemudiannya didaftarkan pada 10 Oktober 1969 (Ibu Pejabat awal hanya sebuah kedai di Kg. Air, Kota Kinabalu). Perasmian bangunan 4 tingkat Ibu Pejabat USIA, Jalan Sembulan telah dirasmikan oleh YTM Tunku Abdul Rahman Al-Haj, pada 30 Julai 1972, bersamaan 19 Jamadil Akhir 1392H.