Design a memory management mechanism that enables the GPU to handle models exceeding its actual VRAM capacity

[minews977]

• Set target VRAM size (target_vram_gb, default: 32GB)
• Support CPU memory offloading (cpu_offload)
• Support disk offloading (disk_offload)
• Support shared memory usage (use_shared_memory)

Mechanism Overview:

• When GPU memory is insufficient, offload less frequently used tensors to CPU memory or disk.
• Load these tensors back to the GPU when needed.
• Use a priority system to determine which tensors should remain in GPU memory.
• Enable shared memory to allow multiple processes to share tensors efficiently.
  
  
  

[minews977]

https://drive.google.com/file/d/1tLNepJYV-zUx46SMztaIKIsFC_rIN5xS/view?usp=sharing
bat的內容
@echo off
set COMFYUI_GPU_ID=0 //使用那顆GPU
set COMFYUI_TARGET_VRAM_GB=8.0 //VRAM的大小(目前最大測32G效能調適請各位再自己試看看)
set COMFYUI_USE_SMART_MEMORY=1 //預設使用 smem
set COMFYUI_USE_SHARED_MEMORY=1 //預設使用共用記憶體
set COMFYUI_RESERVED_VRAM_GB=1.0 //保留多少gpu ram
set COMFYUI_CACHE_SIZE_GB=2.0 //緩存的大小
set COMFYUI_CACHE_TTL=300 //緩存的生存時間
.\python_embeded\python.exe -s ComfyUI\main.py --windows-standalone-build
pause
測試環境 python 3.11.9 CUDA121 pytorch 2.4.0
xformers 0.0.27.post2
comfyUI 0.3.15
記得先把自己的nodes.py server.py main.py 三個檔作備份
再把壓縮檔的內容放到\ComfyUI_windows_portable\ComfyUI目錄下
然後bat放到ComfyUI_windows_portable目錄下 執行bat
如果成功會看到以下訊息

檢測到 1 個 GPU 設備
GPU 0: NVIDIA GeForce RTX 3050 Laptop GPU, 記憶體: 4.00 GB
嘗試設置使用 GPU 0
已設置使用 GPU 0: NVIDIA GeForce RTX 3050 Laptop GPU
[SmartMemory] 檢測到 GPU: NVIDIA GeForce RTX 3050 Laptop GPU，實際 VRAM: 4.00 GB
[SmartMemory] 目標虛擬 VRAM: 8.00 GB，保留 VRAM: 1.00 GB
[SmartMemory] 已啟用共用記憶體模式
[SmartMemory] 共用記憶體測試成功
SmartMemoryManager 已初始化，目標虛擬 VRAM: 8.0 GB
共用記憶體: 啟用
[SmartMemory] 記憶體使用統計:
[SmartMemory] - 管理的 GPU 使用: 0.00 MB
[SmartMemory] - 管理的 CPU 使用: 0.00 MB
[SmartMemory] - 管理的磁碟使用: 0.00 MB
[SmartMemory] - 管理的共用記憶體使用: 0.00 MB
[SmartMemory] - 管理的總使用: 0.00 MB
[SmartMemory] - 實際 GPU 分配: 0.00 MB
[SmartMemory] - 實際 GPU 保留: 0.00 MB
[SmartMemory] - GPU 總容量: 4095.50 MB
[SmartMemory] - GPU 可用容量: 3071.50 MB
[SmartMemory] - 緩存使用: 0.00 MB / 2048.00 MB
[SmartMemory] - 緩存張量數量: 0
－－－－－－－－－－－－－－－－－－－－
今天作了點小小的測試，在3050 4g的顯卡上搶了主記憶體32g的ram來用，11g flux 可以直接載入,直出2048x3176雖然速度在ksample還是沒多快，但至少不會報記憶體不足，另外測了用cpu跟ram直接融合pony的模組,意外的五分鐘也可以搞定gpu ram不足的問題,AI codeing果然強大....
雖然不確定在別的pc能不能跑,可以提供
nodes.py main.py smemory.py 跟啟動的bat 給有興趣的大大測試，有人有興趣我再把連結放上來
測試環境是msi的筆電 i5 DDR4 64g ram 3050 4g
補一下測試結果
2048x3176 flux 59m none lora
1024x1024 pony 1m none lora
904x904 2m14s lora x2
以3050來說跑小圖1024x1024 ,有個奇怪的現象,一張一張按下去跑100張每張約一分，按下去100張點一次執行除了第一張1m之後的都會變6m....不開smem一切正常不會變慢..Orz
載入三個模組，切換時快很多，不需重新從(HDD 筆電配的是ssd+HDD) 從HDD上讀檔差異就很明顯，但三個頁籤來回切換多次發現在記憶體交換的過程中出現了幾個warning有關記憶體釋放不完全造成效能下降，重啟後會恢復，只載入一二個模抯不會有影響，大概是這樣
作了一個開關 在ksample　在有開smemory下跟沒開比較
有開跑59秒　沒開跑47秒 慢了大約20%
但如果Ram有128g可以試一下 vram開到100g 試試....不知道是什狀況