Beberapa tahun setelah agresi Belanda ke-2 sekitar tahun 1950-an, pendatang dari luar Jakarta datang ke Kalibaru. Mereka umumnya bermukim di daerah pesisir, kebanyakan datang dari Sulawesi yang berprofesi nelayan. Rumah-rumah yang mereka bangun pun berkarakteristik dari asal mereka (Sulawesi) yaitu rumah panggung di sepanjang pesisir.

Sekitar tahun 1960-an, setelah pemberontakan DI/TII dan G30S PKI, terjadi ekstradisi penduduk besar-besaran dari luar Jakarta seperti Jawa Timur, Sulawesi, serta Jawa Barat, khususnya Indramayu dan Banten. Akhirnya daerah Kalibaru dihuni beragam suku, namun pendatang dari Sulawesi tetap sebagai penduduk mayoritas di sana.

Saat ini Kalibaru terdiri dari orang-orang Madura, Tegal, Indramayu, Cirebon, Banten dan Sulawesi tentunya. Profesi mereka sudah beragam, sebagai pemilik kapal pengangkut kayu, pemilik kapal nelayan yang mayoritas adalah orang-orang Sulawesi, toke-toke kayu, pemilik gudang kayu, buruh, nelayan, pedagang, sampai pemilik warung remang-remang, dan masih banyak lagi. Belum lagi perusahaan-perusahaan yang berdiri di Kalibaru, termasuk pelabuhan, pasar tradisional dan pasar pelelangan ikan.

Kemajuan ini menyebabkan bertambahnya jumlah penduduk Kalibaru dari tahun ke tahun, sehingga kepadatan penduduk tidak terhindarkan lagi. Kini Kalibaru sudah begitu banyak berubah, permasalahan demi permasalahan dihadapi masyarakat, dari mulai masalah pemukiman yang tidak tertata sampai masalah lingkungan dan perekonomian. Perusahaan-perusahaan hanya sedikit mengurangi angka pengangguran, berdagang / wirausaha harus mempunyai modal, pelabuhan menjadi primadona perekonomian masyarakat sampai saat ini. Banyak jenis usaha dan pelaku-pelaku usaha yang bergantung dengan keberadaan pelabuhan tersebut.