LOOKSMITH

筆記

生成式 AI 試妝和 AR 濾鏡,差在哪裡?

最後更新:

AR 濾鏡是即時把顏色畫在動態畫面上,生成式試妝則是重新繪製一張靜態照片,兩者回答的其實是不同的問題。

AR 濾鏡在鏡頭畫面裡即時找出你的臉,一秒三十次以上,直接在手機上把顏色畫進動態影像。生成式試妝則是把一張靜態照片送給模型,由模型重新繪製整張圖後傳回一張新的圖片。這兩者之間幾乎所有其他的差異,都是從這一個根本差異延伸出來的。

各自的運作方式

AR 濾鏡的第一步是追蹤你的臉。軟體會為你的臉貼合一個網格,並在每一格畫面之間持續追蹤這個網格。以 Apple 的 ARKit 為例,它把追蹤到的臉部描述為 ARFaceGeometry,一個拓樸結構固定不變的 3D 網格,而 Apple 自己的文件也把「套用虛擬彩妝」列為可以疊加在這個網格上的用途之一。軟體接著在這個網格的各個區域上混合顏色,再把結果合成回動態畫面裡。以一秒三十格來算,每一格只有大約三十三毫秒可以完成這一切,所以這個運算必須非常輕量:就是把顏色混合到已經存在的像素上,邊緣做羽化處理,讓它看起來不像是硬生生貼上去的。你在品牌官網上看到的試妝功能,用的是同一套原理,只是換成該品牌自己的追蹤引擎跑在瀏覽器裡。

生成式試妝不會逐格追蹤你。它拿一張照片,送到伺服器上運行的模型,模型會產生一張新的圖片,內容是同一張照片、但已經畫上了妝。這個模型不是在原圖上疊一層,而是重新生成每一個像素,所以妝容成了圖片本身的一部分,而不是浮在上面的一層。

兩者並排比較

下表裡的生成式試妝範例是 Looksmith,它即將登陸 iOS,目前尚未上線。

差異項目AR 濾鏡生成式試妝
運算在哪裡發生你的手機上伺服器上
輸入即時攝影機畫面一張靜態照片
完成一個造型要多久即時,每格約三十三毫秒Looksmith 大約一分鐘
是否即時互動是,會隨你的動作變化
最後留下什麼一段即時疊加畫面一個圖片檔案
涵蓋範圍通常一次一項產品一整套完整造型
展示的產品由開發商自己的品牌目錄決定不綁定單一品牌
光線依你的鏡頭每一格自行判斷固定在拍照當下的那一刻
一般花費品牌自家頁面通常免費Looksmith 前六次免費,之後用點數

可以自己驗證的幾個結果

為什麼同一支口紅在 AR 濾鏡裡每次看起來都不一樣?

因為底下的畫面本身就不一樣。你的手機會持續執行自動白平衡和自動曝光,每秒判斷好幾次房間裡什麼算是白色,再把整格畫面往那個判斷拉過去。站在暖色燈泡下,相機會把暖調拉得更明顯;站到窗邊,效果正好相反。濾鏡在兩種情況下畫的是同一組顏色數值,你看到的卻是兩支不一樣的口紅。

你可以用任何品牌的試妝頁面在兩分鐘內自己驗證:先在鎢絲燈下打開同一個色號,再拿著手機走到窗邊,讓功能繼續開著。產品本身沒有變,濾鏡畫的那組數值也沒有變。

哪一種呈現的顏色比較準確?

兩者都還沒證明自己配得上這個說法。任何宣稱有「色彩準確度百分比」的試妝功能,在公布計算方法之前,都該當成廣告詞看待,而不是事實。一張靜態照片至少只有一組白平衡,不會像動態畫面一樣飄移不定,所以生成出來的樣子至少在你端詳的時候是固定的。但你的相機是在某一組特定光線條件下拍下那張照片,再經過同一套處理流程,最後得到的是一張看起來合理的畫面,而不是對色料本身的量測結果。Looksmith 沒有公布任何色彩準確度百分比,因為 Looksmith 沒有量測過這個數字。

如果你要決定的是確切的色號,答案是在白天光線下,拿實體試色棒試在自己的下顎。這兩種數位方式頂多幫你在真正去做這件事之前,先縮小選擇範圍。

為什麼一個品牌的 AR 濾鏡永遠只會出現那個品牌自己的產品?

因為那個濾鏡本來就是圍繞著那個品牌的產品目錄打造的。你用過的多數品牌試妝功能,其實是兩套引擎換了不同的名字在跑。萊雅在二零一八年三月收購了 ModiFace,而做出 YouCam Makeup 的玩美移動(Perfect Corp),也在二零二二年於紐約證券交易所公開上市。品牌提供色號清單,引擎提供追蹤技術,而色號清單才是整套系統存在的目的。

單一品牌的濾鏡沒辦法讓你看到用三個不同品牌拼出來的完整造型,也永遠不會告訴你,最適合你的其實是它沒有在賣的產品。像 Sephora Virtual Artist 或 Ulta GlamLab 這類零售商試妝功能,橫跨了多個品牌,但也僅限於那間零售商有進貨的品牌。這些引擎背後究竟是誰在做,在什麼是虛擬彩妝試妝 這篇文章裡有拆解。

生成式試妝要花多久?

Looksmith 大約一分鐘。模型是在生成一整張新圖片,而不是為既有的圖片上色,這個運算跑在伺服器上,不是在你手上,所以整個過程完全不是即時互動的。你等於是用即時預覽換來一張完成的成品,如果你需要的正是即時預覽,生成式試妝就不是對的工具。

試妝結果能保存下來嗎?

這是大家最先注意到的差異。AR 濾鏡是即時疊加畫面,一關掉就什麼都不剩了,除非你當下記得截圖。生成式試妝則會產生一個檔案。Looksmith 回傳一張 9:16 的海報式成品,也就是你自己的照片、妝容已經畫在上面,還可以選擇附上一段四秒的無聲循環短片,用到的產品也會列在旁邊。四張這樣的成品可以並排放在同一個畫面上比較,其中一張可以附上一句話傳給朋友,或是留在手機裡等到明天,等你自己想清楚了再說。

這兩種方式會改變我的臉嗎?

AR 彩妝濾鏡理論上只是在畫顏色,所以理論上你的臉不會被動到。但實際上,承載這些濾鏡的應用程式常常在旁邊搭配了改臉型的工具,某一次不小心留開的設定,下一次很容易就被忽略。與其假設濾鏡只做顏色,不如直接讀那個應用程式自己列出的功能清單。

生成式試妝的風險方向正好相反。模型重新生成的是整張圖片,如果開發者沒有加以約束,結果就可能偏離原本的臉。Looksmith 的設計原則是完全不改變任何臉部骨架:單眼皮還是單眼皮。年齡、姿勢、表情和構圖都維持原樣,因為最後拿到的是你自己照片經過修飾的結果,而不是一張全新的肖像。Looksmith 會完整保留眼鏡,也絕不會替你加上眼鏡,也不會套用任何美肌磨皮效果。完整的不可更動清單列在AI 試妝會不會改變我的臉 這篇文章裡。

什麼問題該用哪一種

以下是多數比較文章不願意寫清楚的部分。

你想確認的問題該用哪一種為什麼
這個眼線形狀適不適合我的眼型AR 濾鏡你需要眨眼、轉頭、低頭看它
這個色系大概適不適合我AR 濾鏡十秒鐘,站在架前,免費
這是不是我確切的粉底色號都不用白天光線下試在下顎,十分鐘後再看一次
眼妝、腮紅、唇妝整套搭在一起適不適合我生成式多數 AR 濾鏡一次只能套一項產品
我想同時比較四個選項生成式兩段即時疊加畫面沒辦法並排放在一起
我想在公開場合戴上它之前先看看效果生成式圖片可以留下來,之後還能再回頭看
我人已經站在專櫃、產品就拿在手上都不用實體產品就在眼前,直接試在下顎再走到室外看看

簡單的判斷原則是:問題關於形狀和位置、而且你需要動起來,就用 AR 濾鏡。問題是一整套造型適不適合你、而且你想留著明天再回頭看,就用生成式試妝。

Looksmith 落在哪裡

Looksmith 是 Mirable Labs, Inc. 開發的生成式試妝應用程式,即將登陸 iOS。在 Looksmith 裡,你先儲存一次「Likeness」,也就是一組自拍照,之後就成為可重複使用的臉。接著用三種方式之一挑一個造型:Style Me 一次讓你穿上好幾種造型,Create Look 用文字描述生成,Mirror a Look 則是把一張參考照片裡的妝容轉移過來。Looksmith 建構造型時涵蓋十二個區域,從唇彩、唇線到眼影、腮紅和眉毛,最後回傳一張你自己臉孔的海報式成品,用到的產品列在旁邊。

Looksmith 的前六個造型在完成引導流程後免費,之後採購買點數包的方式,沒有訂閱制。隱私權政策 說明了你上傳的照片會如何處理。

兩者都無法解決的問題

兩種工具都碰不到質地、持妝度或氣味。AR 濾鏡沒辦法告訴你一款粉底到了中午會不會卡在細紋裡,生成出來的造型也做不到,因為兩者都只從單一時刻的畫面出發,而且產品實際上並不在現場。一張生成出來的造型,也不代表某一支特定的產品真的能畫出一模一樣的像素。

這兩種工具做的其實是同一件事:縮小你需要親自試的選項清單,只是從不同的方向下手。濾鏡在你動起來的時候先篩掉不合適的色系,生成出來的畫面則告訴你整套組合搭在一起像不像你。選錯工具,正是很多人得出「虛擬試妝根本沒用」這個結論的原因。至於試完之後接下來該做的實體步驟,寫在不買也能試妝的方法 這篇文章裡。

Looksmith 把一整套妝容畫在你自己的臉上,並列出用到的產品。iOS,即將推出。

Looksmith 是什麼