В возрасте двадцати пяти лет Н. Н. уезжает за границу. Он молод, здоров, весел и богат. Молодой человек путешествует без определенной цели, его интересуют не скучные памятники, а люди. На водах Н. Н. увлекся молодой вдовой, но женщина предпочла другого, и герой переехал в город З. на левом берегу Рейна. Городок понравился молодому человеку вековыми липами, старыми стенами и башнями, а также хорошим рейнским вином. На противоположном берегу находился город Л., куда Н. Н. и отправляется на торжественный пир студентов. В Л. герой знакомится с Гагиным и его сестрой Асей. «Девушка, которую он назвал своей сестрою, с первого взгляда показалась мне очень миловидной. Было что-то свое, особенное, в складе ее смугловатого круглого лица, с небольшим тонким носом, почти детскими щечками и черными, светлыми глазами. Она была грациозно сложена, но как будто не вполне еще развита». Молодой человек замечает, что девушка совсем не похожа на своего брата. Они живут за городом в одиноком домике и приглашают героя к себе. Поначалу девушка настороженно относится к Н. Н., но потом начинает весело смеяться, напевать вполголоса, в общем, производит впечатление подвижной и нервной девушки. Молодой человек уезжает, и Гагин обещает навесить его на следующий день.
Утром герои едут в Л., чтобы посмотреть этюды Гагина. Он владеет приличным состоянием, и поэтому решил посвятить себя живописи. Аси дома не оказалось. Хозяйка сказала, что она собиралась к живописным развалинам феодального замка, и молодые люди пошли ее искать. Ася ведет себя вызывающе, кокетничает, шалит — берет у старушки стакан воды, чтобы полить цветы на развалинах. Гагин ей не мешает, так как уже привык и относится к поведению сестры со снисхождением. Ася отпрашивается у брата и уходит к фрау Луизе. Эта вдова бывшего бургомистра, которая очень полюбила девушку.
Чем больше Н. узнает Гагина, тем больше привязывается к нему. «Это была прямо русская душа, правдивая, честная, простая, но, к сожалению, немного вялая, без цепкости и внутреннего жара. Молодость не кипела в нем ключом; она светилась тихим светом». Придя домой, герой начинает думать об Асе: он сомневается, что девушка действительно сестра Гагина. На следующий день она вновь удивляет героя. Былая веселость куда-то испарилась, Ася сидела в углу и вышивала, словно простая деревенская девушка. Она выглядела очень естественно, и молодой человек не заметил в ней ни тени кокетства.
В течение двух недель Н. Н. посещает Гагиных. Он замечает, что у брата с сестрой совершенно разное воспитание. Ася выглядит смущенной и на вопросы о жизни в России отвечает неохотно; говорит только, что перед отъездом довольно продолжительное время жила в деревне. Однажды вечером молодой человек находит калитку Гагиных закрытой и перескакивает через ограду. Проходя мимо беседки, он слышит разговор, который очень его удивил. Ася сквозь слезы говорит, что хочет любить одного только Гагина, а молодой человек ее успокаивает. Н. понимает, что догадки его подтвердились, а Гагины просто умело притворяются. С досады герой отправляется в горы. Вернувшись, молодой человек находит дома записку Гагина, в которой тот просит прийти для объяснения. Н. Н. читает записку без удовольствия, но на другой день отправляется в Л.
Когда Гагин провожает Н. Н., он рассказывает ему историю Аси. Отец Гагина был человеком добрым, образованным, умным, но несчастливым. Мать мальчика умерла рано, и двенадцать лет они вместе с отцом прожили в деревне. Вскоре дядя увез юношу в Петербург, где тот поступил в юнкерскую школу, а потом в гвардейский полк. Каждый год он приезжал в деревню и в одно из посещений увидел черноглазую десятилетнюю девочку Асю. Отец сказал, что она сирота и взята им на попечение. Однажды Гагин получил от приказчика письмо, в котором сообщалось о смертельной болезни отца и его желании увидеть сына. Перед смертью старик просит сына заботиться об Асе — его сестре и своей дочери. От камердинера Якова молодой человек узнает о том, что Ася — дочь его отца и горничной Татьяны. Девочка долгое время жила в деревне с матерью у тетки, но после смерти Татьяны отец забрал ее к себе. Поначалу Ася дичилась брата, но потом привязалась к нему: «…у ней ни одно чувство не бывает вполовину». В Петербурге девушка воспитывалась в пансионе, но когда ей минуло семнадцать лет, оставаться там было уже невозможно. Гагин вышел в отставку и вместе с сестрой уехал за границу. Теперь он просит Н. Н. не судить девушку слишком строго.
В разговоре с Н. Н. Ася говорит: «Если б мы с вами были птицы, — как бы мы взвились, как бы полетели. Так бы и утонули в этой синеве. Но мы не птицы». Молодой человек отвечает ей, что бывают чувства, от которых вырастают крылья, но он таких чувств еще не испытывал. Н. Н. начинает казаться, что он влюблен в Асю, подозревает, что и девушка к нему неравнодушна. Девушка передает ему записку, в которой назначает свидание у каменной часовни. К молодому человеку приходит Гагин и сообщает, что его сестра влюблена в Н. Н. Герой отвечает, что девушка ему тоже нравится, но Гагин хочет уехать, так как Н. Н. на Асе все равно не женится.
У старой часовни герой вновь получает записку, в которой девушка просит его прийти в дом фрау Луизе через полтора часа. При встрече Ася говорит, что назначила свидание для того, чтобы попрощаться с молодым человеком, ведь они с братом совсем скоро уезжают. Н. Н. отвечает девушке: «Вы не дали развиться чувству, которое начинало созревать, вы сами разорвали нашу связь, вы не имели ко мне доверия, вы усомнились во мне.» Ася убегает, а молодой человек потом корит себя за то, что не удержал ее.
Когда Н. Н. приходит домой, то решает на следующий же день просить у Гагина руки его сестры. Подойдя утром к знакомому домику, молодой человек видит открытые окна, дверь и какие-то бумажки у порога. Хозяйка сообщает, что Гагины уехали рано утром, но для Н. Н. оставили письмо. Молодой человек просит героя не сердиться на внезапный отъезд и их не искать. Фрау Луиза передает Н. Н., проходящему мимо ее дома, записку от Аси, в которой девушка пишет: «Прощайте, мы не увидимся более. Не из гордости я уезжаю — нет, мне нельзя иначе. Вчера, когда я плакала перед вами, если б вы мне сказали одно слово, одно только слово — я бы осталась. Вы его не сказали. Видимо, так лучше. Прощайте навсегда!» Герой понимает, что очень сильно любит девушку, но потерял свое счастье навсегда. Молодой человек пытается найти Гагиных, но все его попытки оказываются тщетными.
Впоследствии он знал и других женщин, но нежное, глубокое, жгучее чувство, возбужденное в нем Асей, больше не повторялось.