散歩帰宅時のパニック

はじめまして、ゴールデンをお迎えして約2ヶ月になります。現在生後5ヶ月です。
お迎えして1ヶ月で、ショップから購入した46×33cmケージから70×43cmケージにお引越しさせました。
最初のケージでは餌やトイレの掃除の度にケージから出ようと試みていました。その際はお迎えして1ヶ月も過ぎていなかったので、散歩というより脱走になる気がして外に出していませんでした。
新しいケージにしてからは、餌補充やトイレ掃除などでケージを開けても巣箱から出てこなくなりました。（巣箱の出入り口が死角のため顔だけだしている雰囲気を感じることはあります。）
1週間のうち2回くらい、ケージを開けた際に巣箱からでてきます。外に出たそうなときは散歩をさせています。
散歩をさせる際は、抱っこや足場などで手を経由してから出しています。
そこまではいいのですが、30分〜1時間くらいでケージに戻そうとすると大パニックになってしまい見たこともない回転ジャンプをされます。
結局隅に追いやるか、ジャンプの先を器でキャッチして帰宅させるという方法になります。
ケージに戻しておやつを差し出しても受け取りません。お迎えしてから今までおやつを受け取らなかったのはこの散歩帰宅時のときのみです。
ケージに戻されたあとは、唖然としながら毛づくろいをしたり巣箱に帰ったり回し車を爆走したりと様々です。
ペットカメラで観察すると、私が去ったあともケージを噛んだりするような様子はありません。外を眺めているときはあります。

あるあるの質問なのかもしれませんが、散歩帰宅時はまだ探索したいという気持ちだけでこんなパニックになるものでしょうか？
毎回帰宅時に大パニックになってしまうのは、ストレスが大きいと思うので改善したいと思っています。
ケージでは、抱っこを喜びはしないものの手に乗ったりおやつを受け取ったりしてくれる程度には慣れています。
帰宅時の工夫や、改善すべき部分がありましたらご教示いただきたいです。

・ハムスターの情報
ゴールデンハムスター　メス　5ヶ月
トイレは日中でも起きて利用しますが、回し車にもおしっこをします。巣箱ではしません。
・ケージ
70×43のクリアケージ　前開きのもの
レイアウトはハムエッグさん掲載のものを参考にしています。
・餌（22時頃）
実験動物用ペレット（毎日）
キャベツ、にんじん、ミックスフード、乾燥鶏ささみ（たまに）
乾燥りんご、乾燥カボチャ（おやつ）
・回し車
26cmのもの
・床材
紙パルプのものとウッドチップ混合
（ショップで紙パルプだったため、その際に購入したものが掃除時の継ぎ足しで残っています。ウッドチップに完全移行する予定です。）
・掃除の頻度
2週間に一回大掃除　トイレや回し車の掃除は2日に1回
・ケージの設置場所
部屋に電気をつけても薄暗い場所があるのでそこにおいています。窓が近く直射日光は当たらないですが、日中は明るいです。
横を私が通る事が多いので使わなくなったマットレスで壁を作ってあり、ハムスター用の区画があるような状態です。