Все эти смотрины, балы, ужины, сватовство настолько колоритны, что глубоко западают в память Никанору. Однако, как следует из его записок, воспоминания о себе оставят и крепостные дворовые, которым живется много хуже, чем просто крепостным крестьянам. Заправляют хозяйством, как правило, управляющие, люди до мозга костей развращенные, выслуживающиеся при помощи разных зазорных заслуг. По одному только капризу они зажиточного крестьянина могут довести до нищенства, по вспышке любострастия отнять у мужа жену или обесчестить крестьянскую девушку. Жестоки они неимоверно, но поскольку они блюдут барский интерес, то жалобы на них не принимаются. Крестьяне их ненавидят и ищут все возможные способы, чтобы их извести. При столкновении с такой местью помещичья среда обычно затихает, чтобы потом вернуться к прежней системе.
Из дворовых женщин Никанору запоминаются Аннушка и Мав-руша-новоторка. Первая знает евангелие и жития святых и проповедует полное в этой жизни господам подчинение. Вторая, будучи вольной мещанкой, соединившей судьбу с крепостным иконописцем, восстает против навязываемой ей тяжелой работы. Искренняя любовь к мужу перерастает у нее в ненависть, и она кончает жизнь самоубийством.
Из дворовых мужиков симпатию Никанора вызывает смешливый Ванька-Каин, по профессии цирюльник, а потом ключник. Он бесконечно сорит шутовскими словами, но его все любят за балагурство, хотя хозяйка часто ворчит. «Ах, ты, хамово отродье», — говорит она. На что он, как эхо, отвечает: «Мерси, бонжур. Что за оплеуха, коли не достала уха. Очень вами за ласку благодарен». Ивана отдают в рекруты, из армии он не возвращается.
В помещичьей среде Никанор Затрапезный отмечает двоих: предводителя Струнникова и образцового крестьянина Валентина Бурма-кина. Предводитель Струнников воспитывается в одном из высших учебных заведений, но отличается таким тупоумием и леностью, что не сумеет потом не только организовать жизнь в уезде, но и растрачивает все свое состоятгие на балы и оркестры. Годы спустя Никанор встречает его в Женеве, где он служит половым в ресторане при гостинице. «Был русский барин да весь вышел».
Валентин Бурмакин — единственный в уезде представитель университетского образования. Непорочная высоконравственная личность, ученик Грановского, почитатель Белинского, он участник кружка молодежи, желающей сеять вокруг себя добро, любовь, человечность. На первом плане у него стоят музыка, литература, театр. Его волнуют споры о Мочалове, Каратыгине, Щепкине, каждый жест которых порождает у него массу страстных комментариев. Даже в балете он усматривает истину и красоту, поэтому имена Санковской и Герино звучат обычно в его дружеских беседах. Они для него не просто танцовщик и танцовщица, «а пластические разъяснители «нового слова», заставляющие по произволению радоваться и скорбеть. Однако оторванность от реальной почвы, полное непонимание её в конце концов приводят Бурмакина к неудачной женитьбе на простоватой Милочке, которая вскоре начинает обманывать его и доводит до разорения. Московские друзья помогают ему определиться учителем в одну из самых дальних губернских гимназий. В Москве ему устроиться не удается.
Масса образов и фактов, вставших в памяти Никанора Затрапезного, подействовали на него настолько подавляюще, что, описав видения своего детства, он сомневается в том, сможет ли продолжать свои записки в дальнейшем.