近日,黑森林實驗室發佈了全新的FLUX.1Tools工具包,該工具包旨在增強其基礎文生圖模型FLUX.1的控制性和可操控性,使用戶能夠精確地修改和再創作真實圖片和生成圖片。
FLUX.1Tools包含四個主要功能:
FLUX.1Fill:這是一個先進的圖像修復和擴展工具,功能超越了Ideogram2.0和開源的AlimamaCreative’s FLUX-Controlnet-Inpainting等現有工具。 FLUX.1Fill可以根據用戶提供的文字描述和二進制掩碼對真實圖片和生成圖片進行編輯和擴展,並能將修改內容無縫地融入到圖像中,實現自然流暢的效果。
經測試,FLUX.1Fill [pro] 的性能優於所有其他競品,成爲目前最先進的圖像修復模型。開源版本FLUX.1Fill [dev] 的性能也超越了其他專有解決方案,而且推理效率更高。
FLUX.1Depth和FLUX.1Canny:這兩個工具都利用圖像的結構信息來引導圖像生成,從而在修改圖像紋理時保持其原始結構。
其中,FLUX.1Depth利用圖像的深度信息進行修改,而FLUX.1Canny則利用邊緣檢測信息進行引導,更適合進行精確的細節調整。

評估結果顯示,FLUX.1Depth的性能優於Midjourney ReTexture等專有模型,其中FLUX.1Depth [pro] 提供了更高的輸出多樣性,而FLUX.1Depth [dev] 在深度感知任務中提供了更一致的結果。 對於邊緣檢測模型,FLUX.1Canny [pro] 的性能最佳,其次是FLUX.1Canny [dev]。

FLUX.1Redux:這是一個適用於所有FLUX.1基礎模型的適配器,用於生成圖像變體。 給定一張輸入圖像,FLUX.1Redux可以對其進行細微的變化,生成不同的版本,甚至可以根據用戶提供的文字描述重新設計圖片風格。

此外,FLUX.1Redux還支持通過API進行圖像風格調整,用戶只需提供一張圖像和一段文字描述即可。 這項功能已集成到最新的FLUX1.1[pro] Ultra模型中,該模型可以將輸入圖像和文字提示結合起來,創建高質量的400萬像素輸出,並支持靈活的長寬比。 測試結果表明,FLUX.1Redux在圖像變體生成方面取得了最先進的性能。

FLUX.1Tools 提供開源版本和API版本
FLUX.1Tools以兩種版本提供:開源版本(FLUX.1[dev])和API版本(FLUX.1[pro])。 每個工具的API版本都作爲FLUX.1[pro] 變體發佈,而開源版本則作爲指導性蒸餾的FLUX.1[dev] 變體發佈,並提供推理代碼和權重。 此外,黑森林實驗室還宣佈,其發佈的模型將通過其合作伙伴fal.ai、Replicate、Together.ai、Freepik和krea.ai提供。
黑森林實驗室表示,此次發佈的FLUX.1Tools工具包將爲Flux生態系統注入新的活力,他們期待看到社區用戶利用這些新工具創造出更多精彩的作品。
模型:https://huggingface.co/black-forest-labs/FLUX.1-Redux-dev
詳細介紹:https://blackforestlabs.ai/flux-1-tools/
