画像生成モデルのアンロード
テキスト生成APIを呼び出す前に、画像生成モデルをメモリからアンロードします。つまりローカルLLMのためにメモリを空けて欲しい、という機能です。A1111のみの実装です。forge neoでのみ動作確認しています。
テキスト生成と画像生成でメモリを奪い合うならLLMの方はどうするんだ、という話ですが、LLMの方は待機状態1秒でアンロードのような設定で対処してください。
テキスト生成APIを呼び出す前に、画像生成モデルをメモリからアンロードします。つまりローカルLLMのためにメモリを空けて欲しい、という機能です。A1111のみの実装です。forge neoでのみ動作確認しています。
テキスト生成と画像生成でメモリを奪い合うならLLMの方はどうするんだ、という話ですが、LLMの方は待機状態1秒でアンロードのような設定で対処してください。