Поселення складалося з козацької станиці Кокчетавської та міщанської слободи. Поселення зберегло назву Кокчетавської за назвою добре видних у ясну погоду, що синіють у далині, гір, що по-казахськи званих Кокшетау – "синювата гора, синегір'я").

Відповідно до різних джерел у перекладі з казахської Кокшетау означає «синя гора», «синьогір'я» чи «блакитна гора». Кокшетау названий за назвою навколишньої місцевості та гір, де був спочатку заснований це гора Кокшетау з багатою флорою (головним чином соснові та березові ліси), оточених ланцюгами озер.

З 1936 по 1944 місто Кокчетав ставився до Північно-Казахстанської області. 16 березня 1944 р. Указом Президії Верховної Ради Казахської РСР була створена Кокчетавська область і Кокчетав став обласним центром. Після війни місту знадобилося багато робочих рук. 1949 року в місті проживало 26 тисяч осіб.

З 2002 року на сучасному гербі Кокшетау зображений кінь, що біжить, — невід'ємний супутник степових народів, символ свободи, прогресу, руху вперед. Він спирається на хвилю, що символізує озеро Копа, де розташований Місто.