Pasar Tanah Abang didirikan tahun 1735 oleh Yustinus Vinck atas izin gubernur jenderal Abraham Patramini. Awalnya pasar ini dikenal sebagai sebagai Pasar Sabtu, karena hanya buka pada hari sabtu dan hanya memiliki ijin berjualan tekstil, kelontong, dan sedikit sayuran. Selain itu wilayah ini juga sebelumnya terkenal sebagai Pasar Kambing karena dulu ramai pedagang ternak yang juga berjualan di sini.
Tahun 1740, terjadi peristiwa chineezenmoord, pembantaian orang-orang cina, perusakan harta benda, dan pejarahan terjadi di mana-mana, termasuk pasar Tanah Abang diporak-porandakan dan dibakar. Kejadian ini otomatis membuat pasar Tanah Abang berhenti beroperasi.
Tanah Abang mulai dibangun kembali pada tahun 1881. Bangunan pasar pada awalnya sangat sederhana, terdiri dari dinding bambu dan jerami. Tanah Abang pun terus membaik dan mengalami perbaikan sampai akhir abad ke-19.
Nama Tanah Abang berasal dari kata De Nabang (palem) yang dulu banyak tumbuh di kawasan ini. Masyarakat kemudian terbiasa menyebut wilayah ini sebagai Tenabang. Tahun 1890, perusahaan Jawatan Kereta Api menamai Tanah Abang agar lebih mudah disebut.
Versi lain menyebutkan, nama Tanah Abang berasal dari penyebutan wilayah oleh tentara Mataram yang menyerang pasukan Belanda pada tahun 1628. Wilayah Tanah abang digunakan oleh pasukan Mataram sebagai basis perang mereka karena medannya berawa mengalir sampai ke Kali Krukut. Di dalam kawasan tersebut terdapat lahan merah atau dalam bahasa Jawa disebut Abang. Diperkirakanlah bahwa nama Tanah Abang berasal dari sana, menurut versi ini.
Bangunan pasar pada mulanya sangat sederhana,terdiri dari dinding bambu dan papan serta atap rumbia. Tahun 1926 pemerintah Batavia membongkar pasar Tanah Abang dan diganti bangunan permanen berupa tiga los panjang dari tembok dan papan serta beratap genteng.
Pada zaman pendudukan Jepang, pasar ini hampir tidak berfungsi, dan menjadi tempat para gelandangan. Tahun 1973, pasar Tanah Abang diremajakan, diganti dengan 4 bangunan berlantai empat. Tahun 1975 tercatat ada 4.351 buah kios dengan 3.016 pedagang yang meramaikan pasar Tanah Abang.
Pasar Tanah Abang kerap kali menjadi sorotan publik karena kesemrawutannya. Penertiban kerap kali dilakukan, namun pkl liar tetap saja kembali menjajakan dagangannya di jalur-jalur pejalan kaki. Pada tahun 2013, pemerintah DKI Jakarta merelokasi para PKL di kawasan ini ke gedung Blok G pasar. Namun karena sepi pengunjung, para pedagang kembali mengokupasi jalur pedestrian.
