やがて二人の間には「お稲」という女の子も生まれ、幸福な日々が過ぎて行きます。
が、それも束の間。一時帰国しようとしていたシーボルトの荷物から、当時国外への持ち出しが禁じられていた日本地図や葵の紋の羽織などが見つかります。
スパイの容疑をかけられ、1829年、シーボルトは妻子を残したまま、国外追放の身となるのでした。

「ソノキサマ　マタオイネ　カアイノコトモノ　シボルト」
帰国したシーボルトが妻子に宛てて書いた、たどたどしい日本語の手紙が残されています。
「ニチニチ　ワタクシカ　ホマエ　マタ　ホイネノナヲ　シバイシバイ　イフ」
（日々、私は、お前、また、お稲の名をしばしば言う。）
「ナントキワ　オマエヲ　マタ　オイネ　モット　アイスルモノヲミルカ」
（いつか、お前を、またお稲を、もっと愛する者を見るのだろうか。）
いいや、自分の他に二人をこんなにも愛する者はいない！とシーボルトは訴えます。
彼のお滝さんに対する愛情は、変わらぬどころかますます強くなっていたのでしょう。

ところが、程なくお滝さんから、
「余儀なく義理にて他へ嫁し申候」と、親戚の勧めに抗いきれず再婚したことを告げる手紙が届けられます。
自分の肖像を蓋に描かせた煙草入れとともに。
「他の人と結婚するけれど、私の事忘れないで」という残酷なまでに切ないお滝さんの思いが推し量られます。