アルマティは若い街で、その歴史は浅い。現在アルマティ市がある付近は、サカ族（紀元前３世紀頃）やチュルク系民族が集落を築き、東西の通商拠点の一つであることもあったが、街として開発されたのは１８５４年にロシア帝国が中央アジア征服のための要塞をこの地に建設したことに始まる。それまでアルマティ（「林檎の父」の意味）と呼ばれていた小さな集落は、ヴェルノエ（「忠実」の意味）とロシア風に改名された。１８６７年にセミパラチンスク州の州都としてヴェルヌィ市と改称、行政の中心地となった。

　ロシア革命後、１９２０年にキルギス自治共和国が形成され、アルマティも同自治共和国内に編入された。キルギス自治共和国の首都ははじめオレンブルグであったが、カザフ自治共和国と名称を変更した１９２５年にクズル・オルダに移され、その後１９２９年に現在のアルマティに遷都した。なお当時すでにヴェルヌィはアルマアタに名称を変更していた。カザフ自治共和国は１９３６年１２月にカザフ・ソビエト自治共和国になり、アルマアタは同国の首都として発展を続けた。

　１９３０年トルクシブ（トルキスタン・シベリア）鉄道の開業により開発が本格的に始まり、第二次世界大戦によってソ連のヨーロッパ部から大量の避難民、疎開者がアルマアタに来たことで人口も増加、街も発展を続けた。ちなみにアルマティで編成されたパンフィロフ近衛師団の戦士２８名がナチス・ドイツと戦ったことを記念して、アルマティの中央公園はパンフィロフ２８戦士公園と命名されている。

　ゴルバチョフ書記長によるペレストロイカ路線が始まった１９８６年１２月、アルマティで、「ソ連初の民族暴動」といわれる暴動事件が起こった。いわゆる「アルマアタ事件」である。カザフ人のクナーエフ書記長を罷免し、ロシア人コルビンを書記長に任命した人事をきっかけとする暴動は、民族的暴動の様相を呈した。暴動は、現在の大統領府前にある共和国広場で行われ、死者数名、負傷者数百名を出したと言われている。

　その後、一連の変化の中で、１９９０年１０月にカザフ・ソビエト社会主義共和国は共和国主権宣言を出し、１９９１年１２月のソ連崩壊に伴って同年１２月１６日に独立を果たし、カザフスタン共和国と国名を改称、アルマアタも本来のアルマティにその名を戻したのである。

　９７年１２月１０日、首都はアスタナ市へ移転したが、アルマティ市は今もなお経済、文化の中心地であり、「もうひとつの首都」としてにぎわっている。