生成AIバーチャルメイクとARフィルターの違いとは
最終更新:
ARフィルターはリアルタイムの映像に色を重ねて描き、生成AIバーチャルメイクは一枚の静止画を描き直す。この二つはまったく別の問いに答えている。
ARフィルターはカメラ映像の中から顔を見つけ、再生されている映像そのものに色を重ねて描く。毎秒30回、あるいはそれ以上の速度で、しかもスマートフォン本体だけで処理する。生成AIバーチャルメイクは一枚の静止画をモデルに送り、モデルはその画像を描き直して新しい画像を返す。両者を分けるほとんどすべての違いは、このたった一つの差から生まれている。
それぞれの仕組み
ARフィルターはまず顔を追跡することから始まる。ソフトウェアが顔にメッシュを合わせ、そのメッシュをフレームごとに追い続ける。たとえばAppleのARKitでは、追跡した顔をARFaceGeometryとして扱い、これはインスタンスが変わってもトポロジーが一定に保たれる3Dメッシュだ。Apple自身のページも、バーチャルメイクの適用をこのメッシュの上に重ねるものとして紹介している。ソフトウェアはそのメッシュの各領域に色をブレンドし、映像に合成し直す。毎秒30フレームということは、この処理全体にかけられる時間はおよそ33ミリ秒しかない。だから処理は軽くなければならない。すでにあるピクセルの上に色をブレンドし、切り貼りに見えないよう縁をぼかすだけだ。ブランドのウェブサイトで出会うバーチャルメイクも、その企業独自のトラッカーを使ってブラウザ上で同じ考え方を動かしている。
生成AIバーチャルメイクはフレームごとにあなたを追いかけたりしない。一枚の写真を受け取り、サーバー上で動くモデルに送る。モデルは同じ写真をもとに、メイクが施された状態の新しい画像を作る。モデルは何かを上に重ねているのではない。ピクセルそのものを作り直しているので、メイクは上に乗ったレイヤーではなく画像の一部になる。
二つを並べてみる
以下の表で生成AIの例として挙げているのはLooksmithで、これは現在利用できるものではなく、近日iOSに登場予定のものだ。
| 何が違うか | ARフィルター | 生成AIバーチャルメイク |
|---|---|---|
| 処理される場所 | スマートフォン本体 | サーバー |
| 入力 | ライブのカメラ映像 | 一枚の静止画 |
| ルック完成までの時間 | リアルタイム、1フレームあたり約33ミリ秒 | Looksmithではおよそ1分 |
| インタラクティブか | できる。動きに合わせて変化する | できない |
| 手元に残るもの | ライブの重ね合わせ映像 | 画像ファイル |
| 対象範囲 | 通常は一製品ずつ | ルック全体 |
| 表示される製品 | 作った企業自身のカタログ | 特定ブランドに縛られない |
| 光の条件 | フレームごとにカメラ任せ | 撮影した瞬間の光で固定 |
| 一般的なコスト | ブランド公式ページでは無料 | Looksmithでは最初の6ルックが無料、以降はクレジット制 |
実際に確認できる違い
ARフィルターだと同じ口紅なのに毎回色が違って見えるのはなぜか
映像そのものが毎回違うからだ。スマートフォンは自動ホワイトバランスと自動露出を常に働かせ、1秒間に何度も「この部屋で白と呼べるのはどれか」を判断し、映像全体をその判断へ寄せていく。暖色の電球の下に座れば、カメラはその暖かさをさらに強調する。窓際に立てば逆のことが起きる。フィルターはどちらの場合でも同じ色の値を塗っているのに、見ている側には二つの違う口紅に見える。
これはブランド公式のバーチャルメイクページで2分もあれば確かめられる。同じシェードをタングステンランプの下で開き、そのまま起動した状態で窓際まで歩いてみればいい。製品は何も変わっていない。フィルターが塗っている数値も変わっていない。
どちらがより正確な色を映すのか
どちらもその主張を勝ち取ってはいない。色の正確さを何パーセントと謳うバーチャルメイクがあれば、その数字の算出方法を公表するまでは広告文句として扱うべきだ。静止画は変動するホワイトバランスではなく一つのホワイトバランスしか持たないので、生成された画像は少なくともじっくり見ている間は色が動かない。とはいえ、そのカメラはある一つの条件のもとでその写真を撮り、同じ処理パイプラインを通しているので、返ってくるのは色素の測定値ではなく、もっともらしく見える一枚の絵にすぎない。Looksmithは色の正確さについてパーセンテージを公表していない。そもそも測定していないからだ。
正確な色そのものが知りたいのなら、答えは自然光のもとで自分のあごに実物のテスターを当てることだ。どちらのデジタルな手法も、そこにたどり着く前に候補を絞り込むだけの役割にすぎない。
なぜブランドのARフィルターはそのブランドの製品しか映さないのか
そのフィルターがそのブランドのカタログを前提に作られているからだ。あなたがこれまで使ったブランド公式のバーチャルメイクのほとんどは、二つのエンジンのどちらかに別の名前が付いているだけのものだ。L'Oréalは2018年3月にModiFaceを買収したし、YouCam Makeupを作るPerfect Corpは2022年にニューヨーク証券取引所に上場した。ブランドがシェードのリストを提供し、エンジンがトラッキングを提供する。そしてこのシェードリストこそがこの仕組み全体の目的だ。
一つのブランドのフィルターは、三つの異なるブランドを組み合わせたルックを見せることはできないし、自社が扱っていない製品があなたにとって正解だという結論を出すこともない。Sephora Virtual ArtistやUlta GlamLabのような小売店側のバーチャルメイクは複数のブランドをまたぐが、その小売店が扱っているブランドに限られる。こうしたエンジンを実際に誰が作っているかについてはバーチャルメイクとは何かで詳しく扱っている。
生成AIバーチャルメイクはどれくらい時間がかかるのか
Looksmithではおよそ1分だ。モデルは既存の画像に色を足しているのではなく画像全体を生成しており、それがスマートフォンの中ではなくサーバー上で行われる。ここにインタラクティブな要素は一切ない。ライブプレビューと引き換えに完成した一枚の絵を受け取る形になるので、必要なのがライブプレビューそのものなら、生成AIバーチャルメイクは向いていない。
バーチャルメイクで見た結果を保存できるか
これは多くの人が最初に気づく違いだ。ARフィルターはライブの重ね合わせなので、閉じてしまえばスクリーンショットを撮っていない限り何も残らない。生成AIバーチャルメイクはファイルを作る。Looksmithは9:16のポスター画像、つまりあなた自身の写真にメイクが描き込まれたものを返し、任意で無音の4秒ループクリップも付けられ、使われた製品はその横に一覧表示される。四つを画面上に並べて比較することもできる。誰かに質問を添えて送ることもできるし、明日、自分の考えがはっきりするまでスマートフォンの中で待たせておくこともできる。
どちらも顔を変えてしまうのか
ARメイクフィルターは色を塗っているだけなので、原理上は顔そのものには手を加えない。ただ実際には、そうしたフィルターを載せているアプリの多くが顔の形を変えるツールも一緒に提供しており、あるセッションで有効にした設定が次のセッションでは気づかないまま残っていることもある。フィルターが色だけを扱っていると決めつけず、そのアプリ自身の機能一覧を確認したほうがいい。
生成AIバーチャルメイクにはこれと逆のリスクがある。モデルは画像全体を作り直しているので、作り手が制約をかけなければ結果がずれていく可能性がある。設計上、Looksmithはどんな種類であれ顔の骨格を変えない。奥二重や一重はそのまま奥二重や一重のままだ。年齢、ポーズ、表情、構図はすべて元のままで、返ってくるのは新しいポートレートではなく、あなた自身の写真にレタッチを加えたものだ。Looksmithは眼鏡を正確に保持し、勝手に眼鏡を足すこともなく、美肌フィルター的な平滑化処理も行わない。固定されている機能の全リストはAIバーチャルメイクは顔を変えてしまうのかにまとめてある。
どちらをどんな場面で使うべきか
ここからは、多くの比較記事が書きたがらない部分だ。
| 知りたいこと | 使うべきもの | 理由 |
|---|---|---|
| このアイライナーの形が自分の目に合っているか | ARフィルター | まばたきしたり顔を動かしたり下を向いたりして確かめる必要がある |
| このシェードの系統が自分に近いか | ARフィルター | 売り場で10秒、しかも無料で確かめられる |
| これが正確なファンデーションのシェードか | どちらでもない | 自然光のもとで実物のテスターを自分のあごに乗せ、10分後にもう一度確認する |
| 目元から頬、リップまで、このルック全体が自分に似合うか | 生成AI | ほとんどのARフィルターは一製品ずつしか適用できない |
| 4つの選択肢を比較したい | 生成AI | ライブの重ね合わせ映像を二つ並べることはできない |
| 人前で着ける前に見ておきたい | 生成AI | 画像として手元に残り、あとで見返せる |
| すでに製品を手に持ってカウンターに立っている | どちらでもない | 実物がそこにあるのだから、あごにスウォッチして外の光の下で確認すればいい |
まとめるとこうなる。形やフィット感が問題で、実際に動いて確かめたいときはARフィルターを使う。ルック全体が似合うかどうかを知りたくて、明日また見返せるものが欲しいときは生成AIバーチャルメイクを使う。
Looksmithの立ち位置
LooksmithはMirable Labs, Inc.による生成AIバーチャルメイクアプリで、近日iOSに登場予定だ。Looksmithではまず一度セルフィーを何枚か撮って「ルックネス」として保存し、それを再利用可能な自分の顔にする。そのあと、三通りの方法でルックを選ぶ。「Style Me」は一度に複数のルックを試せる。「Create Look」は言葉での説明を受け付ける。「Mirror a Look」はインスピレーション写真からメイクを移し替える。Looksmithはリップとライナーからアイシャドウ、チーク、眉まで12のリージョンにわたってルックを構築し、あなた自身の顔のポスター画像として、使われた製品の一覧とともに返ってくる。
Looksmithの最初の6ルックはオンボーディング時に無料付与される。それ以降はパックで購入するクレジット制で運用され、サブスクリプションはない。送った写真がどう扱われるかはプライバシーポリシーに記載がある。
どちらも解決しない部分
どちらのツールも、質感、崩れやすさ、香りには一切触れない。ARフィルターは、その処方がお昼までに小じわに入り込んでしまうかどうかを教えてくれないし、生成された画像も同じだ。両方とも一瞬を切り取ったものにすぎず、製品そのものはその場にないからだ。生成された画像は、特定の一本のチューブが実際にそのピクセル通りの発色をするという約束でもない。
どちらのツールも、実際に試す価値があるものを絞り込むという同じ仕事をしている。ただし絞り込む方向が違う。フィルターは動きながらシェードを候補から外していき、生成された画像はそのルック全体が自分のものになるかどうかを教えてくれる。どちらを選ぶかを間違えることが、「バーチャルメイクは使い物にならない」という結論につながりやすい。どちらかを試したあとに続く実際の物理的なステップについては買わずにメイクを試す方法にまとめてある。