В 1847 по собственной просьбе переведен на Кавказ, где бушевало восстание горских племен под руководством Шамиля. Состоял по особым поручениям при главнокомандующем Отдельным Кавказским корпусом М.С.Воронцове. Участвовал в экспедициях в Дагестан и Чечню в 1848 и 1849–1853; награжден орденом Св. Анны 4-й степени и саблей с надписью «За храбрость». Во время Крымской войны 1853–1856 отличился в сражениях при Башкадыкларе 19 ноября (1 декабря) 1853 и Кюрюк-Дара 24 июля (5 августа) 1854. С августа 1855 состоял по особым поручениям при главнокомандующем Кавказской армией Н.Н.Муравьеве. Произведен в полковники, а затем в генерал-майоры.

После взятия русскими войсками Карса в ноябре 1855 назначен начальником Карской области; с этого момента началась его административная карьера. С 1858 исполнял обязанности начальника войск в Абхазии и инспектора линейных батальонов Кутаисского генерал-губернаторства. 2 (14) мая 1860 получил должность военного начальника Южного Дагестана и одновременно градоначальника Дербента. 28 марта (9 апреля) 1863 стал начальником Терской области (совр. Северный Дагестан, Чечня, Ингушетия, Северная Осетия, Кабардино-Балкария) и наказным атаманом Терского казачьего войска. Стремясь умиротворить мятежные северокавказские районы, проводил политику, сочетающую жесткие репрессивные меры с мерами по социально-экономическому и культурному развитию региона. Сурово расправлялся с непримиримыми противниками России и даже организовал массовую эмиграцию недовольных чеченцев в Турцию (1865); с другой стороны, ликвидировал крепостную зависимость горских крестьян от местных феодалов, распространил на регион общероссийскую налоговую, административную и судебную систему, построил первую на Северном Кавказе железную дорогу Ростов – Владикавказ, на свои средства открыл во Владикавказе первое учебное заведение (Ремесленное училище). Пытаясь обеспечить поддержку местной элиты, постоянно консультировался со старейшинами и духовенством. В мае 1875 по собственной просьбе (из-за болезни) освобожден от должности; произведен в генералы от кавалерии. В том же году уехал на лечение за границу.

Вернулся на службу с началом русско-турецкой войны 1877–1878; назначен командующим Отдельным Кавказским корпусом. Руководил всеми операциями на Кавказском театре военных действий. За взятие крепости Ардаган 5 (17) мая 1877 удостоен ордена Св. Георгия 3-й степени, за разгром армии Мухтар-паши на Аладжинских высотах 1–3 (13–15) октября – ордена Св. Георгия 2-й степени, за овладение Карсом 6 (18) ноября – ордена Св. Владимира 1-й степени. Вершиной его успехов стала капитуляция Эрзерума 11 (23) февраля 1878. По окончании войны возведен в графское достоинство.

В январе 1879 назначен временным губернатором Астраханской, Самарской и Саратовской губерний с неограниченными полномочиями для борьбы с начавшейся в Нижнем Поволжье эпидемией «ветлянской чумы» (от станицы Ветлянская, где имела место первая ее вспышка). Благодаря решительным карантинным и санитарным мерам быстро остановил ее распространение; причем из выделенных на эти цели 4 млн. руб. сэкономил 3 млн. 700 тыс. и вернул их в казну. К его авторитету выдающегося полководца добавилась репутация не только эффективного, но и честного администратора, радеющего об интересах государства.

В апреле 1879 назначен временным харьковским генерал-губернатором с чрезвычайными полномочиями в связи с растущей волной революционного террора (прежний генерал-губернатор Д.Н.Кропоткин был убит народовольцем Г.Д.Гольденбергом 9 (21) февраля). Проводил гибкую политику: ограничил масштабы репрессий против оппозиции, пытался привлечь на сторону властей либеральную общественность (проект реформы городских учебных заведений и пр.); одновременно реорганизовал в духе жесткой централизации местную полицию. Благодаря своей умеренности оказался единственным среди временных генерал-губернаторов, не внесенным Исполнительным комитетом «Народной воли» в список приговоренных к смерти.

12 (24) февраля 1880, после неудавшегося покушения С.Н.Халтурина на Александра II 5 (17) февраля, назначен по рекомендации военного министра Д.А.Милютина главой новосозданной Верховной распорядительной комиссии по охране государственного порядка и общественного спокойствия, в ведении которой находился высший надзор за политическими следствиями по всей стране; ей были подчинены Третье отделение Собственной Его Императорского Величества канцелярии и Отдельный корпус жандармов; объединение усилий всех карательных органов преследовало цель скорейшего подавления революционного движения. Широко используя право действовать от имени императора и применять любые меры по установлению порядка на всей территории Российского государства, фактически стал диктатором. Вместе с тем, взял курс на проведение политических и социально-экономических преобразований. 11 (23) апреля 1880 представил императору свою программу, предусматривавшую привлечение выборных представителей от дворянства, земств, городских дум к обсуждению проектов ряда законов и правительственных постановлений, перестройку местного самоуправления, расширение прав старообрядцев, налоговую реформа, реформу народного образования, меры по поддержке крестьянства (снижение выкупных платежей, выдача ссуд для покупки земли и переселения) и смягчению напряженности между рабочими и предпринимателями. Для успокоения общественности добился смещения министра просвещения ретрограда Д.А.Толстого (апрель 1880); по его предложению 6 (18) августа 1880 были упразднены Третье отделение и сама Верховная распорядительная комиссия. Возглавил Министерство внутренних дел, сфера деятельности которого значительно расширилась за счет появления в его структуре Департамента государственной полиции, к которому перешли функции политической сыска, прежде находившиеся в компетенции Третьего отделения. Одновременно стал шефом Отдельного корпуса жандармов. Упразднение одиозных учреждений сопровождалось, таким образом, централизацией полицейских институтов.

В сентябре 1880 публично пообещал восстановить права земских и судебных органов, расширить свободу прессы и провести сенатские ревизии не только с целью проверки деятельности чиновников, но и выявления нужд населения и «настроения умов». В октябре предложил отказаться от практики репрессий против либеральных изданий, что стало причиной его конфликта с председателем Комитета министров П.А.Валуевым.