Schon 5300 bis 4900 v. Chr. siedelten sich Menschen der Bandkeramik-Kultur im Bereich der Stadt an. Dies wurde durch den Fund eines Brunnens bei Erkelenz-Kückhoven nachgewiesen. Der aus Spaltholz in Blockbauweise errichtete Brunnen stammt aus dem Jahr 5090 v. Chr. und ist das älteste erhalten gebliebene Holzbauwerk der Welt. Mit Datum vom 17. Januar 966 wird Erkelenz erstmals urkundlich in einer Schenkungsurkunde Kaiser Otto des Großen erwähnt.

Der Name Erkelenz ist vermutlich von dem römischen Personennamen Herculentius abgeleitet und bezeichnet den Ort als "fundus Herculentius". Daraus entstand der gallo-romanische Name Herculentiacum, der in eingedeutschter Form im Jahre 966 als Herclinze urkundlich erwähnt wird. Im Jahre 1118 ist der Ort erstmals als Erkelenze erwähnt und in der Folge auch als Erclencia bekannt.

Die Lage von Erkelenz am Schnittpunkt der alten Handelsstraßen zwischen Köln-Roermond und Krefeld-Aachen hat der Stadt zu einer positiven Entwicklung und raschem Wachstum verholfen. Im Jahre 1326 wurden Erkelenz durch Graf Reinald II von Geldern die Stadtrechte verliehen. 1713 fiel Erkelenz an das Herzogtum Jülich und verlor seine niederländischen Verbindungen. 1794 besetzten die Franzosen Erkelenz, und 1815 wurde Erkelenz als Sitz der Kreisverwaltung Mittelpunkt des weiten Umlandes.

Am Ende des 19. Jahrhunderts verlegte der Bohrgerätepionier Anton Raky den Sitz der internationalen Bohrgesellschaft von Straßburg nach Erkelenz, wodurch der Beginn weiterer Industrieansiedlungen begründet war.1944/1945 wurde die evakuierte Stadt durch mehrere Bombenangriffe  und Granaten fast vollständig zerstört. Ihr Wiederaufbau war bis 1954 nahezu vollendet.

Mit der kommunalen Neugliederung am 01.01.1972 verlor Erkelenz seinen Kreissitz. Durch den Zusammenschluss der Stadt Erkelenz mit den Gemeinden des früheren Amtes Erkelenz-Land und Holzweiler, den früheren Gemeinden Lövenich und Granterath und den Orten Geneiken und Kuckum erhielt Erkelenz seine jetzige Gebietsgröße.

Aufgrund der wirtschaftlichen Bedeutung und des hervorragenden Schul-, Sport- und Kulturangebotes ist Erkelenz weiterhin der Mittelpunkt des naturräumlichen Umlandes, der Erkelenzer Börde.

Erkelenz ist die größte Stadt im Kreis Heinsberg, dem westlichsten Kreis der Bundesrepublik, der an die Niederlande angrenzt.