仲間内では、吉谷は「先生様」と呼ばれ、妻子とともに特別扱いされていた。宿舎も食事も別で、隊員たちは、先生様一家のことを話すときは、敬語を使った。 吉谷は内部では、一種のカリスマ性があった。が、外部からみれば、逆であった。 「吉谷」は「ヨシガイ」と読むが、ある邦字雑誌は、 「ヨシガイではなくキチガイではないか」 と書いた。 十月、桜組の婦女子から成る一隊が、サンパウロの中心街に現れ、パンフレットを配布した。全員、白だすきに白鉢巻姿であった。 パンフレットは日本語で書かれてあったが、邦字新聞の記者が読んでも、チンプンカンプンだった。 警察は代表者を呼んで通訳付きで調べたが、意味不明な話の内容に呆れ、釈放してしまった。 桜組の幹部は、邦字紙記者へ、 「（朝鮮派遣義勇軍の代わりに）国連協力軍として、朝鮮へ行って共産軍と戦う」 と、新たな行動計画を語った。が、一文も使わずに日本へ帰れる、という狙いも隠さなかった。 翌一九五四年二月、桜組はサント・アンドレーでデモを行い、十七、八人が警察に拘引され、内十人はサンパウロのDOPSへ送られた。 その中に居た吉谷は、邦字紙記者の取材に答えて、 「デモの目的は、無論、日本に帰りたいからだ」 と、正直に喋った。 彼らは、厳重戒告を受けた後、釈放された。 その後、バストス方面から七十数人が、サント・アンドレーに来て合流した。総勢は二～三百人に膨れ上がった。女、子供も多数混じっていた。 この頃、共産義勇軍として台湾を開放する、と方針を変更した。共産主義者の烙印を押されて、国外へ追放されようとしたのである。 十一月、サント・アンドレーで、またも桜組に不穏な動きがあり、地元警察が警戒を始めた。 十二月二日、千葉皓サンパウロ日本総領事が現地へ行き、隊員たちに解散を説得した。 が、隊員たちは聞き入れなかった。 六日、総領事が再び現地訪問。効果なし。 十四日、パウリスタ新聞に、ある元隊員の、 「昨年六月、挺身隊に加盟すれば、無料帰国が出来ると勧誘を受けたので、入った。幹部の林田からも絶対間違いないとの確言を受けた。しかし、いつになっても実現しないので、脱退した」 という話が載った。 一九五五年正月。 千葉総領事が、バストスから駆けつけた有志とともにサント・アンドレーへ出向いた。バストス出身の隊員の説得を行ったが、無駄骨に終わった。 二月三日朝、総勢百数十人の隊員が、サンパウロの中心街でデモ行進を始めた。 幟を押し立て、軍歌の替え歌を合唱しながら行進した。男たちは戦闘帽に襷掛けであった。 総領事館へ押しかけ、総引揚げ嘆願書を提出、代表四人が座り込んだ。 同月十四日、サント・アンドレーで、隊員たちが鶏舎内でハンストを始めた。兵糧が尽きての苦肉の策、と邦字新聞は皮肉った。 同月十八日、幹部の天野ら二十人が総領事館へ押しかけ、先に提出した嘆願書に対する回答を求めて、座り込込んだ。さらに八十人の男女が後から来て加わった。 館側は警察に排除を依頼した。警官と桜組が乱闘になった。叫び声が上がり、数人が負傷した。桜組は取り押さえられた。 総領事館の顧問弁護士平田進は、ポ語新聞の記者から意見を求められ、 「解決策は二つしかない。監獄か精神病院にブチ込むことだ」 と答えた。 後の下院議員平田は、この頃は、総領事館の顧問弁護士をしていた。 三月にも桜組の代表が総領事館へ来て解散費用を要求したり、座り込んだり、館員へ暴力を振るったりした。 館員が逃げ出すと、椅子や机を投げ飛ばし、警官に逮捕された。 四月十八日、州政府の法務局と保安局が、桜組に解散を命令、警兵が出動、一般の隊員をサント・アンドレーの数カ所へ収容した。さらにサンパウロの移民収容所へ移した。 彼らはここで、それぞれ仕事を斡旋され、五月十五日までに全員出所した。 翌年の二月二十四日のパウリスタ新聞は、桜組幹部たちに禁固九カ月の刑が下った、と報じている。 サント・アンドレーに伝わる話では、彼らに鶏舎を貸した養鶏家は、多額の現金を吉谷に献上しており、それを知った家族が激怒、結局、当人は家を出たという。