Los vestigios de sus primeros restos datan del tercer milenio a.C. durante el periodo sumerio. Entre las edificaciones más antiguas están los cimientos del templo de Ishtar y el antiguo palacio. Fue una colonia sumeria y durante el Imperio acadio estuvo gobernada por administradores acadios. Tras la caída del Imperio de Ur, en el 2003 a.C. las ciudades de la Alta Mesopotamia se hicieron independientes y Assur fue una de ellas.
Puzur Assur I tomó el mando de Assur y se convirtió en su rey. Su sucesor, Ilushuma, realizó una expedición al sur y acrecentó las tierras que controlaba su pequeño reino. A partir de entonces Assur se convirtió en una importante ciudad comercial y sus rutas se comunicaban con Anatolia en donde sus mercaderes establecieron colonias mercantiles. Los principales productos fueron el estaño y la lana. La riqueza de la ciudad permitió erigir grandes templos dedicados a Assur y a Adad, además de que se amuralló.
Durante el reinado de Shamshi-Adad I (1813-1781 a.C.) las fronteras del reino se extendieron, se construyó un palacio real y se añadió un zigurat al templo de Assur. Para entonces la ciudad se había convertido en el centro político, administrativo y religioso del naciente imperio. La independencia de la ciudad terminó cuando Hammurabi de Babilonia (1810-1750 a.C.) la conquistó y añadió a sus dominios.
Hacia el siglo XV a.C. la ciudad de Assur había recobrado su independencia y se levantaron templos para la diosa de la luna Sin, y del sol, Samas. Después la ciudad fue conquistada por el reino de Mitani. Assur recuperó su libertad un siglo después y en el siglo XII se construyó un nuevo templo para la diosa Ishtar. Para entonces Asiria se había convertido de nuevo en una potencia regional.
Durante el Imperio Neoasirio (s. XIV al s. X a.C.) las murallas de la ciudad crecieron hasta cubrir un área de 120 hectáreas. El rey Assurbanipal II (883-859 a.C.) trasladó la cede de su gobierno a Nimrud, pero Assur siguió siendo la capital religiosa al tener el templo de Assur y muchos reyes fueron sepultados bajo el antiguo Palacio Real.
En el 614 a.C. la ciudad fue saqueada y destruida por los medos cuando estos conquistaron Asiria, sin embargo, subsistió como centro religioso. Después Babilonia se llevó la estatua del dios Assur, que fue devuelto por los persas. Tras la conquista de Alejandro Magno de Mesopotamia y su posterior helenización, el culto al dios decayó.
Durante el Imperio parto (247 a.C. - 224 d.C.) la ciudad volvió a ser repoblada en el siglo I y se levantaron edificios administrativos al norte y al sur se edificó un nuevo palacio. Con el ascenso de los sasánidas, Sapor I (247-272) destruyó la ciudad de nuevo. Durante el periodo islámico subsistió un asentamiento, que creció en los siglos XII y XIII, pero fue abandonado. Después fue habitada por beduinos nómadas. Los asirios modernos continúan reverenciando a la ciudad.