1888 yılına kadar, “Pazarsuyu” adıyla Kastamonu’ya, sonrasında İzmit’e bağlanmıştır. 1933’e kadar Bucak, 1933’te ilçe yapılarak İzmit’e bağlanmıştır. 1954 yılında Sakarya ilinin kurulmasıyla, bu ile bağlı ilçe olmuştur.
En eski tarihi eserler Sakarya nehri kıyısındaki günümüze ancak temel kalıntıları kalan, Karapınar ve Akkum köyleri arasındaki Karasu Kalesidir. Bugün fındıklıklar içinde kalan kaleden geriye fazla bir kalıntı kalmamıştır. Bizans döneminde Sakarya nehir ulaşımının güvenliği için yapıldığı düşünülmektedir.
Eski adı “İncilli” olan Karasu, 19. yüzyıl sonlarında bağımsız İzmit Mutasarrıflığının Kandıra kazasına bağlı bir nahiye idi. Evliya Çelebi, Seyahatnamesi’nde Karasu’dan; “Bundan 300 sene evvel Karasu Köyü’nde kurulmuştur. İzmit Sancağı’nın Kandıra Kazası’na bağlı bir kasabadır. Halkı çoğunlukla kömür taşımacılığı ve balıkçılık yapmaktadır.” diye söz etmektedir.
1898 yılında Karasu’da çinko ve kurşun bulunmuş ve 1. Cihan Harbine kadar işlenmeye devam etmiştir.[4]
Karasu tarihinde İpsiz Recep Emice ismi önemli bir yer tutar. Aslen Rizeli olan İpsiz Recep Kurtuluş Savaşında Karasu’yu kendine karargâh yapmış, Millî Mücadeleye önemli katkılarda bulunmuş milis yüzbaşıdır. İpsiz Recep Kurtuluş Savaşı sonrası Karasu Yenimahalle’ye yerleşmiş, burada vefat ederek, Ulu Camii Mezarlığına defnedilmiştir.
Cumhuriyet döneminde bataklıklar kurutulmuş, Kafkasya ve Balkanlardan gelen göçmenler yöreye yerleştirilmiştir. 1940’larda başlayan ve hâlen devam eden Doğu Karadeniz’den aldığı göçlerle hızla büyümüştür.
II. Dünya savaşında Karasu açıklarında batırılan 30. denizaltı filotillasıdan U-20 Alman denizaltısının yeri yakın zamanda bulunmuştur.
