幕府の斜陽の影は、トミーの身にも差しかかることとなる。慶喜に付き従い大坂から江戸に引き揚げたトミーは、幕臣として戊辰戦争に参戦した。今市(現・栃木県日光市)に進軍してくる官軍を、兄の重太郎とともに迎え撃つ。しかし、奮戦むなしく兄は戦死し、トミー自身も右ももを撃ち抜かれたものの辛くも九死に一生を得たのであった。
維新後、長野桂次郎と改名したトミーに、再度アメリカを訪問する機会が訪れた。1871(明治4)年、欧米列強各国の視察と条約改正とを目的とした岩倉遣外使節団への参加を、新政府から要請されたのだ。
トミーは約10年ぶりに訪れたアメリカの地で、自らの名前が冠された歌の存在を知った。「トミー・ポルカ」と題された曲だ。その歌詞は以下のようなものだった。
通りがかった
人妻も娘も、思わず夢中で取り巻く
かわいい男、小さな男
その名はトミー、かしこいトミー、黄色いトミー、
日本からやってきたサムライ・トミー
(赤塚行雄著『君はトミー・ポルカを聴いたか』)
この曲は、海を渡ってきたサムライ使節団、およびトミーの人気ぶりを伝える曲として、幕府遣米使節団が帰国したのちに全米で大ヒットし、社交界の婦人たちに歌われ、しきりに舞踏会で演奏されたという。
しかし、トミーの2回目の渡米がアメリカ市民の間で話題になったという資料は残されていない。洗練された社交性を身につけていたトミーは、使節団内の薩長出身者からは「軽々しい人間」と白い眼で見られることが多く、派手な行動を控えたのかもしれない。そもそも、南北戦争が終結したばかりのアメリカにとって、条約改正を掲げた岩倉遣外使節団は「招かれざる客」だった。10年前のような熱狂的な歓迎など望むべくもなかったのだ。
その後、ハワイ移民官として活躍するなど、英語力を生かした仕事に従事したトミーは、晩年、西伊豆の戸田(へだ)村(現・静岡県沼津市戸田)で孫たちに囲まれて暮らした。戊辰戦争などの話はよくするものの、渡米時のこと、「トミー・ポルカ」のことを話すことは全くなかったという。好々爺として周囲の人々に愛されたトミーは、1917(大正6)年、75歳でこの世を去った。