劃重點
01知名圖像處理工具IC-Light的作者敏神(張呂敏)推出了新項目IC-Light V2,采用FLUX技術(shù),具有16通道VAE和原生高分辨率。
02IC-Light V2在保留輸入圖像細節(jié)方面表現(xiàn)出色,網(wǎng)友稱贊其為“世界上最好的重光照工具”。
03除了人物外,IC-Light V2還能處理風(fēng)格化圖片,如超現(xiàn)實主義繪畫,效果更加理想。
04目前,IC-Light V2已上線HuggingFace,提供在線體驗,但許可證將僅用于非商業(yè)用途。
以上內(nèi)容由大模型生成,僅供參考
金磊 發(fā)自 凹非寺
量子位 | 公眾號 QbitAI
ControlNet作者“敏神”(張呂敏),剛剛上新了一個新項目
名叫IC-Light V2,可以說是把AI打光這事兒玩得溜溜的。
IC-Light是此前張呂敏開發(fā)的圖像處理工具,可以通過AI技術(shù)精確控制圖像中的光照效果。
而此次的V2版本則是一系列基于FLUX的IC-Light型號,具有16通道VAE和原生高分辨率。
話不多說,直接來看效果。
例如隨意輸入一張照片,附上一句Prompt:
flicker 2008 photo of a woman, neon light, city, cars and people in the background.閃爍2008年的照片,一個女人,霓虹燈,城市,汽車和人的背景。
最終生成的效果可以稱得上毫無違和感。
我們再來放大來看下前后的對比,人物細節(jié)保留程度就更明顯了:
再來看一個例子:
據(jù)敏神自己介紹:
IC-Light V2得益于更好的訓(xùn)練方法,細節(jié)保留能力遠高于SD1.5。
而網(wǎng)友們在看完新工具的效果之后也直呼“世界上最好的重光照(relighting)工具”。
風(fēng)格化圖片也能處理在之前基于SD1.5的IC-Light,有個問題就是處理帶風(fēng)格的圖片的效果并不是非常理想。
例如這樣:
可以明顯看出,原圖是一張美漫風(fēng)格的圖片,而輸出的結(jié)果卻是真人風(fēng)了。
而且即使在Prompt中給到了關(guān)鍵詞“surrealist painting of(超現(xiàn)實主義繪畫)”,得到的風(fēng)格依舊還是帶點漫畫風(fēng)。
嗯,AI直接把這個關(guān)鍵詞給忽略掉了。
而現(xiàn)在,基于FLUX的IC-Light V2,已經(jīng)彌補了此前的缺陷。
除了人物之外,敏神也展示了其它主體的效果。
在線可玩目前,IC-Light V2已經(jīng)上線HuggingFace,可以在線體驗。
下面是我們實測馬斯克照片的例子:
除此之外,敏神此次推出的IC-Light V2其實是一個系列的模型。
目前可以體驗的版本是一個foreground conditioned model(前景條件模型),強調(diào)的是保留輸入圖像細節(jié)。
還有三個模型在陸續(xù)發(fā)布:
還是一個前景條件模型,但強調(diào)支持較大的修改,例如處理低光圖像和更改硬陰影。
一個前景和背景條件模型
與環(huán)境HDRI集成的模型
最后,敏神對于這次的模型還補充道:
目前的模型只能在HuggingFace上體驗,稍后會發(fā)布更多的推理代碼和權(quán)重。
然而,與V1不同的是,該許可證將僅用于非商業(yè)用途。
體驗鏈接放下面了,感興趣的小伙伴可以嘗鮮一波哦~
體驗地址:https://huggingface.co/spaces/lllyasviel/iclight-v2
參考鏈接:[1]https://github.com/lllyasviel/IC-Light/discussions/98[2]https://x.com/multimodalart/status/1850521222213218380?s=46&t=6eepxw1G6XRQ7VO0ANjJWg