モデルを切り替え時間はデバイス種類とそのタイミングでのCPU・GPU負荷状態に依存しております。
3つ程度タスクがあるものでも、通常1～4秒程度でモデルのロードが完了されると思います。
一番モデルの読み込み時間に最も影響するのは、「デバイスの種類」なのですが、
一般的に下記順番でモデルロードは早くなります。
MYRIAD = iGPU(Intel) < CPU < GPU(NVIDIA)
デバイスの変更方法はこちらを参照ください。
ご要望いただいた内容を検討するため下記項目を教えていただいてもよろしいでしょうか？
・現在ご使用のPCのスペック情報
(例：CPU Core i-7 80875H 、 GPU Geforce RTX 2080Super)
・目標ロード時間
(例：4タスク構成のモデルで3秒程度)
なお、モデルをロードしなおさなくても良い方法もいくつかありますので参考までに記載させていただきます。
・タスクコネクションで対象種別を識別して自動で切り替える
⇒参考記事：分類（Classification）を利用したシーン認識例
複数モデルを最初からロードしておき動的に切り替える
⇒ランタイムモデルはそれほど容量が多くないため、あらかじめ複数ロードしておき切り替える方法もあります。