Belanda mengerahkan empat batalyon pasukan untuk menyerang Masjid Raya Baiturrahman. Mereka ingin balas dendam setelah sebelumnya Panglima Perang Belanda Mayor Jenderal JHR Kohler tewas ditembak di halaman masjid tersebut.
Penyerangan besar-besaran Belanda ke Masjid Raya Baiturrahman dilakukan pada 6 Januari 1874 di bawah pimpinan Letnan Jenderal J van Swieten. Ia mengumpulkan pasukannya di kawasan Peunayong dan Gampong Jawa di sisi barat Krueng Aceh.
Belanda membangun kubu pertahanan di Peunayong dan dari sana meriam-meriam Belanda ditembakkan ke kawasan Kraton (Dalam) istana Kerajaan Aceh dan Masjid Raya Baiturrahman. Sementara pasukan Belanda di Gampong Jawa melakukan tembaka meriam ke kawasan Pasar Aceh.
Belanda memang sudah pernah merebut Masjid Raya Baiturrahman pada agresi pertama mereka, tapi kemudian direbut kembali oleh pejuang Aceh setelah berhasil menembak mati Panglima Perang Belanda Mayor Jenderal JHR Kohler di halaman masjid tersebut, hal yang kemudian membuat Belanda menarik seluruh pasukannya kembali ke Batavia (Jakarta).
Letnan Jenderal van Swieten [Sumber: The Dutch Colonial War In Aceh]
Dan, pada agresi kedua ini, Letnan Jenderal J van Swieten sangat ingin merebut kembali Masjid Raya Baiturrahman untuk membalas kekalahan mereka pada agresi pertama. Tapi ia tidak mau bernasib sama seperti Jenderal Kohler yang tewas ditembak pejuang Aceh, makanya serangan kali ini ia membawa lebih banyak pasukan dan dengan perencanaan yang lebih matang.
Pada waktu yang bersamaan pusat pemerintahan Kerajaan Aceh dipindahkan dari Kraton (Dalam) di Banda Aceh ke Keumala, Pidie, yang sekarang dikenal sebagai Keumala Dalam. Pemindahan dilakukan karena perang Aceh melawan Belanda akan dilakukan secara gerilya. Selain itu di Banda Aceh juga sedang terjangkit wabah kolera.
Seorang perwira Belanda Kapten Infantri WJ Philips dalam buku Penjoeratan Pekerdjaan Perang di Negeri Atjeh, yang diterbitkan di Semarang pada tahun 1889 oleh penerbit GCT Van Dorp & Co menulis, bahwa tidak mudah bagi pasukan Belanda untuk bergerak dari Peunayong ke Masjid Raya Baiturrahman, karena tembakan-tembakan balasan dari pejuang Aceh datang dari arah yang tak diduga-duga.
Tentang persiapan serangan besar-besaran Belanda ke Masjid Raya Baiturrahman tersebut Kapten Infantri WJ Philips menulis:
Pada hari 6 Januari 1874, brigade dua yang di bawah perintah Kolonel De Koy van Zuydewijn diperintahkan untuk menyerang masjid raya itu. Brigade dua itu ada terbagi atas empat batalyon, yaitui KH, LH3e, RH, dan LH14e. pagi pukul delapan batalyon-batalyon itu dikumpulkan di Gampong Jawa. Sebelum pasukan-pasukan itu berjalan, masjid raya, kraton dan pasar Aceh ditembaki tiada henti dengan meriam.
Pasukan Belanda membangun kubu pertahanan di bawah pohon Geuleumpang di depan Masjid Raya Baiturrahman tempat Jenderal JHR Kohler tewas ditembak pejuang Aceh [foto: The Dutch Colonial War In Aceh]
Pasukan-pasukan Belanda itu terus berjalan melalui jalan kecil di pinggir Krueng Aceh, tapi mereka belum juga bisa melihat Masjid Raya Baiturrahman yang hendak diserang. Setelah satu jam berjalan di pinggir Krueng Aceh, sekitar pukul sembilan pasukan Belanda itu ditembaki oleh pejuang Aceh. Tapi mereka tidak melihat di mana para penembak tersebut.
Pasukan Belada jadi panik karena terus ditembaki, korban terus berjatuhan, sementara untuk membalas tembakan mereka tidak tahu harus menembak kemana, karena pasukan Belanda melakukan tembakan balasa serampangan. Batalyon pertama yang dikirim Letnan Jenderal J van Swieten itu gagal menembus jalan ke Masjid Raya Baiturrahman. Belanda pun kemudian mengirikan pasukan tambahan. Kapten Infantri WJ Philips menulis:
“Meski beberapa officier dan serdadu sudah tewas dan terluka, maka batalyon LH3e tidak berkecil hati, mereka membalas tembakan dengan menyorakkan “hura”. Batalyon kedua LH14e ikut juga membalas serangan, hingga kemudian bisa melihat tembok masjid raya dari jauh. Karena tembok masjid sudah terlihat mereka maju terus, dan hari itu kompeni kehilangan 11 orang officier, 202 onder officier dan serdadu yang tewas.
Masjid Raya Baiturrahman kemudian dapat direbut oleh pasukan Belanda, karena di halaman masjid itu Panglima Perang Belanda pada agresi pertama Mayor Jenderal JHR Kohler tewas ditembak pejuang Aceh, Belanda kemudian membakar masjid kebanggaan rakyat Aceh itu. Kesalahan besar itu harus dibayar Belanda dengan perang panjang selama 69 tahun (1873 – 1942), perang terlama dan termahal yang pernah dialami Belanda di Hindia Belanda.