В шестой роте N-ского полка проходят практические занятия по уставу гарнизонной службы. Солдаты, особенно молодые, плохо понимают, чего требуют от них офицеры, путаются, теряются, боятся расправы. На плацу стоят и разговаривают младшие офицеры — поручик Веткин, «весельчак, говорун, певун и пьяница» подпоручик Ромашов, который служит всего второй год и имеет «немножко смешную, наивную привычку, часто свойственную очень молодым людям, думать о самом себе в третьем лице, словами шаблонных романов», и подпрапорщик Лбов, постоянно рассказывающий анекдоты из армейской жизни. Они не понимают зачем выматывать солдат перед смотром: ведь уставший человек вряд ли сможет четко выполнить команду в решающий момент. Появляется поручик Бек-Агамалов, гарцуя на лошади. Офицеры обсуждают приказ полковника обучать солдат рубке глиняных чучел. Бек подбивает товарищей потренироваться самим в этом искусстве. Те неохотно соглашаются, но только один Бек оказывается по-настоящему на высоте. Приезжает полковник Шульгович, проверяет одного из солдат Ромашова, татарина, который едва понимает по-русски. Тот отвечает невпопад, и Ромашов пытается заступиться за него перед начальством/Разъяренный Шульгович отправляет Ромашова под домашний арест на четыре дня и объявляет выговор его непосредственному начальнику, капитану Сливе.
Ромашов отправляется бродить по улицам. Ему вспоминаются недавняя сцена на плацу, его неловкость, грубые окрики полковника. Молодой человек мечтает о том, как он «всем докажет»: выдержит экзамен в академию, станет блестящим и перспективным офицером, но, верный чувству долга, вернется в свой полк и, сторонясь общества офицеров-картежников с их грубостью, фамильярностью и попойками, сделает блестящую карьеру и добьется славы — прекрасно зарекомендует себя и во время маневров, и на войне, и на службе шпионом. Ромашов увлекается до того, что пускается бежать по улице. Остановившись, он сам ужасается, какие глупости приходят ему на ум, и робко втягивает голову в плечи.
Вернувшись домой, Ромашов интересуется у своего денщика Гайнана, не приглашали ли его на вечер к поручику Николаеву. Получив отрицательный ответ, «упрямо, но бессильно» Ромашов в который раз решает прекратить свои посещения дома Николаевых. Он безнадежно влюблен в жену поручика, Александру Петровну. Ромашов вспоминает, какие планы он строил на свою жизнь еще год назад — изучение классической литературы, французского и немецкого языков, занятия музыкой, психологией и физиологией, для чего обзавелся книгами, журналами и прочими учебными пособиями. Однако на самом деле Ромашов не притрагивается к книгам, пьет много водки в офицерском собрании, имеет пошлую л грязную связь с полковой дамой Раисой Петерсон и тяготится собственной жизнью. Гайнан приносит Ромашову письмо от Петерсон. От листка бумаги пахнет отвратительными приторными духами, тон письма, написанного с массой грамматических ошибок, раздражает Ромашова своей пошлой игривостью, а воспоминание о лице Раисы наполняет все его существо злобой. Ромашов рвет письмо и понимает, что вопреки законам здравого смысла все-таки пойдет вечером к Николаевым. Гайнан просит хозяина подарить ему бюст Пушкина (Гайнан — идолопоклонник).
Ромашов долго стоит перед домом Николаевых, с любовью глядя через окно на Шурочку, сидящую за рукоделием. Войдя, он понимает, что его совсем не ждали, но вынуждены будут терпеть. Николаев не отрывается от занятий (по настоянию жены он готовится к экзамену в академию). Шурочка говорит, что ни за что на " свете она не согласна проводить жизнь в заброшенном городке среди пошлости, мещанского благополучия, сплетен и интриг. Ей нужны большое общество, поклонники, умные собеседники. Путь в это блестящее общество лежит через академию и генеральный штаб, поэтому она тратит уйму времени, чтобы заниматься со своим мужем подготовкой к экзамену, который он уже дважды проваливал. От полноты чувств и сознания приносимой жертвы Шурочка принимается плакать, но быстро успокаивается и переводит разговор на тему офицерских поединков. По мнению Шурочки, поединок — это и бойня, и буффонада, и лицемерие. Она полагает, что представления об офицерской чести у русских искажены, и именно поэтому им необходимы поединки: «тогда само собой выведется амикошонство, фамильярное зубоскальство в собрании, при прислуге... взаимное сквернословие, пускание друг другу в голову графинов, с целью все-таки не попасть, а промахнуться... У офицера каждое слово должно быть взвешено. Офицер — это образец корректности. И потом, что за нежности: боязнь выстрела! Ваша профессия рисковать жизнью». Среди прочих офицеров полка Шурочка особенно неодобрительно отзывается о Назанском, «беспросыпном пьянице», за столом укоряет и Ромашова за пристрастие к водке. После обеда Николаев без лишних церемоний объявляет, что идет спать, и Ромашов уныло откланивается.
Выйдя на крыльцо, Ромашов слышит, как денщик Николаева сердито и раздраженно разговаривает с товарищем о частых визитах Ромашова. Обиженный подпоручик решает «назло» Шурочке навестить Назанского. У Казанского запой, он на месяц уволен в отпуск. Казанский рассказывает Ромашову, что, будучи пьяным, он чувствует себя вполне свободным, а память его становится «музеем редких откровений». Тогда Назанский много размышляет — «о лицах, о встречах, о характерах, о книгах, о женщинах». Вспоминая о недавнем визите штабс-капитана Дица и его рассуждениях о женщинах, Назанский говорит, что мужское молодечество и хвастливое презрение к женщине ведут лишь к холодности, отвращению и брезгливости. Однако, по мнению Казанского, «любовь имеет свои вершины, доступные лишь единицам из миллионов». В молодости Назанский даже мечтал влюбиться «в недосягаемую, необыкновенную женщину» на всю жизнь и посвятить ей всего себя. Он рассказывает Ромашову о своей любви к такой необыкновенной женщине, к которой он до сих пор питает чувство, хотя в прошлом между ними не было романа в полном смысле этого слова: они расстались, потому что Назанский не смог ничего достичь, не смог даже отказаться от спиртного, как того требовала его возлюбленная. Он читает товарищу ее единственное письмо, и Ромашов узнает почерк Александры Петровны. Ромашов понимает, почему Шурочка так часто нелестно отзывается о Казанском, и уходит. Дома он получает второе письмо от Раисы с обещаниями страшной мести и намеками на «роман» Ромашова с Николаевой. Ромашов забывается, видит себя во сне радостным и беззаботным мальчиком, только где-то далеко существуют мир захолустного городка, казармы, пьянство, противная любовная связь, тоска и одиночество. Среди ночи Ромашов просыпается на подушке, мокрой от слез. Ромашов находится под домашним арестом, не смея выйти в город. Он вспоминает, как мать наказывала его в детстве, привязывая за ногу к кровати ниткой. Почему-то эта нитка оказывала на него магическое воздействие, и он не смел оборвать ее и пойти погулять. Теперешнее свое состояние Ромашов сравнивает с той почти невидимой ниткой, которая удерживала его от потакания своим естественным желаниям. Ромашов рассуждает сам с собой о своем «Я», приходит к мысли, что только оно и важно в жизни: ведь понятия родины, долга, чести, любви бессмысленны и отвлеченны, когда они не прочувствованы конкретным человеком. Гай-нан угощает Ромашова, у которого давно кончился кредит, папиросами, купленными на свои жалкие копейки, и тот впервые задумывается, что к солдату нельзя относиться, как к машине для выполнения военных приказов, что он должен понять их «Я», узнать о своих подчиненных как можно больше. Ему приходит в голову мысль оставить службу, т. к. законы офицерской жизни слишком чужды ему. Мимо окна проходит Шурочка, зовет его, и Ромашов изо всех сил дергает зимнюю раму и открывает окно. Шурочка просит Ромашова заходить к ней чаще, т. к. считает его своим единственным другом. Подошедший муж поспешно отводит ее от окна арестованного.
За Ромашовым приезжает адъютант Шульговича, везет арестованного к полковнику. Тот строго выговаривает Ромашову, среди прочего припоминает, как год назад тот ездил в отпуск якобы по болезни матери. От ненависти Ромашову становится дурно, и он теряет сознание. Шульгович приводит его в себя и уже совсем другим тоном приглашает остаться на обед. Вернувшись домой, Ромашов застает Гайнана, молящегося в чулане перед бюстом Пушкина. Ромашов решает, что больше не станет заставлять денщика выполнять всю работу по дому и научится сам одеваться и раздеваться. Вечером Ромашов не идет в собрание, а остается дома писать повесть под названием «Последний роковой дебют», третью по счету и такую же бездарную, как и две предыдущие. В офицерском собрании начинается субботний вечер. Несколько холостых офицеров играют в бильярд. Ромашов назначен рас-- порядителем танцев. Он всеми способами пытается отвертеться от этой обязанности, со страхом ждет приезда Петерсон. Он устал от полковых дам: «он, как и все в полку, знал закулисные истории каждого бала, каждого платья, чуть ли не каждой кокетливой фразы; он знал, как за ними скрывались: жалкая бедность, усилия, ухищрения, сплетни, взаимная ненависть, бессильная провинциальная игра в светскость и наконец скучные, пошлые связи...» Съезжаются гости, в т. ч. и Раиса Петерсон. Ромашов все-таки уговаривает поручика Бобетинского «подирижировать» вместо него. В столовой тем временем офицеры спорят о поединках. Капитан Осадчий из первой роты, известный прекрасным знанием строевой службы, утверждает, что дуэль должна быть непременно со смертельным исходом. Подпоручик Михин возражает, что решать, конечно, необходимо в каждом отдельном случае, но иногда высшая мудрость заключается в прощении и отказе от поединка. Поручик Арчаковский, имеющий реп
После танца Раиса нарочно садится неподалеку от Ромашова, неестественно кокетничает со своим партнером (говорит о своей «возвышенной температуре» и «горячем темпераменте»). Во время кадрили, которую она «по просьбе» Ромашова оставила ему, Раиса устраивает отвратительную сцену с бранью по адресу Николаевой, обещает «показать свои когти», театрально сожалеет о том, что гадко поступила с мужем, «этим святым человеком». При этом Ромашов вспоминает, как Раиса называла мужа в письмах нему дураком и крутила пошлые романы со всеми молодыми oфицерами, приезжавшими в полк. Ромашов предлагает расстаться мирно, т. к. любви между ними нет и не было, они лишь играли пошлую и грязную комедию. Ромашов с тоской понимает, что у него нет ни одного близкого человека, который бы понимал его мысли.
Утром проспавший Ромашов опаздывает на занятия. Капитан Слива не упускает возможности оскорбить молодого офицера перед строем. «Этот человек представлял собою грубый и тяжелый осколок прежней, отошедшей в область предания, жестокой дисциплины, с повальным драньем, мелочной формалистикой, маршировкой в три темпа и кулачной расправой». Однако он никогда не позволял себе задерживать денежные солдатские письма из дому, и его люди выглядели веселее, чем у других командиров. Молодых же офицеров Слива никогда не жаловал и не спускал им ни малейшей оплошности. Начинаются занятия повзводно. Унтер-офицер Шаповаленко, подчиненный Ромашова, кричит и замахивается на Хлебникова, малорослого, слабого, забитого, тупого солдата. Ромашов одергивает Шаповаленко. Слива рассуждает в присутствии нескольких младших офицеров о воинской дисциплине, о прежних порядках, когда начальник мог беспрепятственно бить солдата. Ромашов возражает, что рукоприкладство — бесчеловечно, и обещает подать рапорт на Сливу, если тот будет продолжать распускать руки.
23 апреля Ромашов получает приглашение от Шурочки на их общие именины. Он отправляется к подполковнику Рафальскому (прозванному в полку полковником Бремом за то, что содержит дома зверинец) занимать деньги на подарок, на чаевые извозчику и т. д. Николаевы и их гости едут на пикник за город. Осадчий произносит тост за войны прежних лет — веселые, кровопролитные и жестокие. Шурочка и Ромашов удаляются от остальных. Она рассказывает, что видела Ромашова во сне, он объясняется ей в любви, обещает сделать себе имя, добиться высокого положения. Шурочка признается, что тоже любит Ромашова, но и жалеет его, понимая, что он ничего не сможет достичь в жизни. «Ведь жалость — сестра презрения. Подумайте, я не могу уважать вас. О, если бы вы были сильный!» Она говорит, что не любит мужа, не хочет ребенка, но уверяет, что не станет изменять супругу, пока окончательно не бросит его. Когда молодая пара возвращается к гостям, Николаев отводит жену в сторону и со злостью выговаривает ей. Та отвечает ему «с непередаваемым выражением негодования и презрения».
Капитан Стельковский, командир пятой роты, богатый холостяк» развлекается тем, что берет в прислуги молоденьких девушек совратив, отпускает домой, щедро оделив деньгами. Его рота славится и за пределами полка отличной выправкой, прекрасным неведением, великолепным знанием строевой службы. Стельковский щадит людей, не позволяет себе рукоприкладства, обладает терпением, настойчивостью и хладнокровием. Товарищи сторонятся его, однако солдаты «любят воистину».
Наступает день смотра — 15 мая. Во всех ротах, кроме пятой, офицеры поднимают солдат в четыре утра, выгоняют на плац маршировать, суетливо вбивают им в головы наставления по словесности и скверно ругаются. Без четверти десять появляется рота Стельковского. Корпусный командир начинает смотр. Все роты оказываются не на высоте. «Утомление и запуганность солдат, бессмысленная жестокость унтер-офицеров, бездушное, рутинное и халатное отношение офицеров к службе — все это ясно, но позорно обнаружилось на смотру». Только пятая рота Стельковского заслуживает одобрение и похвалу командира. Когда дело доходит до шестой роты, в которой служит Ромашов, молодого подпоручика переполняет радостное чувство, ему кажется, что сейчас генерал заметит и похвалит персонально его, «красавца-подпоручика» Ромашова. Ромашов так увлекается, что теряет равнение и расстраивает общее движение, а его полурота, следующая за ним, сбивается в кучу. Маленький Хлебников падает в пыль, с трудом поднимается и на глазах у генерала, низко согнувшись, едва ли не на четвереньках, догоняет своих. Обнаружив это, Ромашов решает, что он опозорен навеки и ему остается только застрелиться. Капитан Слива требует от Ромашова подать рапорт о переводе в другую роту, прочие офицеры только сочувственно качают головами. Ромашову стыдно и противно при одном воспоминании о своих грезах на плацу перед генералом. На обратном пути в лагерь Ромашов застает фельдфебеля за зверским избиением Хлебникова и не находит в себе сил вступиться за слабого.
Николаев требует от Ромашова перестать бывать в его доме. Он и его жена ежедневно получают анонимные письма, порочащие репутацию Александры Петровны. Ромашов отправляется в собрание, но еще из-за двери слышит, как офицеры обсуждают его сегодняшний провал, а капитан Слива прямо заявляет, что из Ромашова никогда не получится офицера — «так, междометие какое-то». Ромашов выбегает на улицу, долго кружит по городу, упиваясь мечтами о том, как он покончит с собой и все будут жалеть о его безвременной кончине. Ромашов обращается к богу, упрекая того, что он отвернулся от него. В этот момент Ромашов видит, как серая фигура направляется к железнодорожным путям. Ромашов узнает Хлебникова, понимает, что солдат тоже задумал свести счеты с жизнью. Подпоручик останавливает Хлебникова, ласково разговаривает с ним, утешает его, называет братом. Солдат жалуется на жестокое обращение товарищей, вымогательство взводного, плохое здоровье, плачет, уткнувшись Ромашову в колени. Ромашов впервые задумывается о судьбах тысяч таких Хлебниковых, которых он никогда раньше не считал самостоятельными личностями, не помнил лиц своих солдат, не интересовался жизнью и проблемами подчиненных.
«С этой ночи в Ромашове произошел глубокий душевный надлом». Он избегает офицерского общества, зато часто приглашает к себе Хлебникова, начинает немного покровительствовать ему (устраивает солдату маленький дополнительный заработок). Ромашов решает уйти в запас, как только пройдут три обязательных года службы. Он впервые задумывается о штатских профессиях, о недостойном отношении военных к невоенным, о трех «гордых призваниях человека — науке, искусстве и свободном физическом труде».
Один из солдат капитана Осадчего кончает жизнь самоубийством. Осадчий и другие офицеры начинают помногу пить в собрании. В один из вечеров Ромашов оказывается в такой пьяной компании. Офицеры едут сначала в собрание, затем в публичный дом. Туда же приезжают двое штатских, которых офицеры грубо выталкивают вон. Бек-Агамалов выхватывает шашку, кричит: «Зарублю!», — бьет посуду, зеркала. Ромашову удается остановить его, за что Бек чувствует огромную признательность к товарищу. Офицеры вновь едут в собрание. Осадчий и Веткин поют отходную солдату-самоубийце. Ромашов кричит, что не позволит издеваться над покойником. Поднимается крик, к Ромашову подскакивает Николаев, обвиняет его и Казанского в том, что они позорят полк, грозит избить Ромашова. Бек пытается оттащить Ромашова в сторону, но безуспешно. Ромашов выплескивает на Николаева остатки пива из своего стакана.
Суд общества офицеров полка постановляет, что между Ромашовым и Николаевым должен состояться поединок. На суде ни один из противников не упоминает имени Шурочки, из-за которой в конечном итоге им и предстоит стреляться.
Ромашов навещает Казанского. Тот сильно пьян. Казанский говорит, что обида Ромашова на Николаева пройдет, но если он убьет человека, то уже никогда не забудет и не простит себе этого. Ромашов и Казанский едут кататься на лодке. Казанский делится с товарищем своими мыслями об армии, о* смысле жизни, о будущем, сравнивает развал в армии с упадком монашества, говорит о новом времени «разочарований и страшной переоценки»: «Если рабство длилось века, то распадение его будет ужасно... индюшачьего презрения к свободе человеческого духа нам не простят — во веки веков... Настанет время, и великая вера в свое «Я» осенит, как огненные языки святого духа, головы всех людей, и тогда уже не будет ни рабов, ни господ, ни калек, ни жалости, ни пороков, ни злобы, ни зависти... есть только одно непреложное, прекрасное и незаменимое — свободная душа, а с нею творческая мысль и веселая жажда жизни». Назанский уговаривает Ромашова уходить в отставку, и тогда, «на воле» он познает, насколько прекрасна и разнообразна жизнь.
Ромашов возвращается домой и обнаруживает там Шурочку. Она повторяет ему, что не любит мужа, но связывает с его карьерой свое будущее. Шурочка уговаривает Ромашова стреляться с Николаевым, но уверяет, что никто не будет ранен — это она берет на себя. Перед разлукой она отдается своему любимому.
В эпилоге к повести приводится протокол дуэли, из которого следует, что Ромашов был смертельно ранен Николаевым (который, видимо, понял, где находилась предыдущей ночью его жена, и все же зарядил свой пистолет) и сразу же после дуэли скончался.