こんにちは、広報の坂井です。ZOZOテクノロジーズでは、共同・委託研究や社外の研究チームに資金援助を行うことで、ファッションを科学的に解明することを目指しています。

先日、資金援助による研究支援を行ってきた筑波大学と豊橋技術科学大学のチームが発表した論文が、SIGGRAPH Asiaというコンピュータグラフィックスやインタラクティブ技術系のトップクラスの学会に採択されました！

採択された論文について、筑波大学 金森 由博先生よりお話しいただきました。

物体の陰影の付き方は、光の当たり方によって変わります。例えば夕焼けのときには赤く見えますし、スポットライトで照らされれば濃い影ができます。このように、ある種の光の下で撮影された物体が、別の光で照らされたときにどのような陰影になるか、というのを計算することを、再照明 (relighting) と呼びます。陰影の計算には物体の形、物体表面の色、光 (の強さや色) といった 3 種類の情報が必要です。CG を使った映画やゲームでは、こういった情報を予め用意してあるので、自由自在に陰影を変えることができます。しかし、では写真を一枚撮って、その被写体の陰影を変えようと言っても、写真だけでは物体の形や、物体の色、それを照らす光の情報は簡単にはわかりません。例えばだまし絵のように、複雑な形があるように見えても壁に描いた絵だったり、赤いボールだと思ったら白いボールが赤い光で照らされていたということだったり、ということもありえます。つまり、同じ見え方であっても、それらを構成する 3 つの要素には曖昧性がある、ということです。この研究では、人工知能 (深層学習) を用いて、1 枚の人物の全身写真から、陰影計算に必要な情報を抽出する、世界初の方法を提案しました。上で述べたような曖昧性を解消するため、CG で作られたたくさんのデータから、「人物はこんな形になりやすいはず」「肌や服はこんな色になりやすいはず」「光の当たり方は普通はこんなはず」という傾向を学びます。人物以外を対象とした類似の研究もありますが、「服のシワのように凹んだところは光が遮られて暗くなる」という事実を取り入れられていないので、脇や股、シワなど、凹んだところが不自然に明るくなってしまいます。この研究ではそこもちゃんと計算しているので、凹んだところはちゃんと暗くなります。これも世界初の成果です。結果として、この技術を使うと、例えばファッションモデルが着てスタジオで撮影された服が、屋外だとどんな陰影になるか、といったことが 1 枚の写真から計算でき、写真を用いたリアルな試着シミュレーションなどへの応用が期待できます。（筑波大学 金森 由博先生）

物体の陰影の付き方は、光の当たり方によって変わります。例えば夕焼けのときには赤く見えますし、スポットライトで照らされれば濃い影ができます。このように、ある種の光の下で撮影された物体が、別の光で照らされたときにどのような陰影になるか、というのを計算することを、再照明 (relighting) と呼びます。陰影の計算には物体の形、物体表面の色、光 (の強さや色) といった 3 種類の情報が必要です。CG を使った映画やゲームでは、こういった情報を予め用意してあるので、自由自在に陰影を変えることができます。しかし、では写真を一枚撮って、その被写体の陰影を変えようと言っても、写真だけでは物体の形や、物体の色、それを照らす光の情報は簡単にはわかりません。例えばだまし絵のように、複雑な形があるように見えても壁に描いた絵だったり、赤いボールだと思ったら白いボールが赤い光で照らされていたということだったり、ということもありえます。つまり、同じ見え方であっても、それらを構成する 3 つの要素には曖昧性がある、ということです。この研究では、人工知能 (深層学習) を用いて、1 枚の人物の全身写真から、陰影計算に必要な情報を抽出する、世界初の方法を提案しました。上で述べたような曖昧性を解消するため、CG で作られたたくさんのデータから、「人物はこんな形になりやすいはず」「肌や服はこんな色になりやすいはず」「光の当たり方は普通はこんなはず」という傾向を学びます。人物以外を対象とした類似の研究もありますが、「服のシワのように凹んだところは光が遮られて暗くなる」という事実を取り入れられていないので、脇や股、シワなど、凹んだところが不自然に明るくなってしまいます。この研究ではそこもちゃんと計算しているので、凹んだところはちゃんと暗くなります。これも世界初の成果です。結果として、この技術を使うと、例えばファッションモデルが着てスタジオで撮影された服が、屋外だとどんな陰影になるか、といったことが 1 枚の写真から計算でき、写真を用いたリアルな試着シミュレーションなどへの応用が期待できます。（筑波大学 金森 由博先生）

もともとZOZOグループが仮想試着システムなどを調査している中で始まった研究支援で、今回このような名誉ある成果を残されたことを大変嬉しく思っております！同研究は現在、特許を出願しています。

研究内容についてはこちら

今後もZOZOテクノロジーズでは、共同研究や研究支援を強化することで、ファッションを科学的に解明することを目指します！

【お問い合わせ】
広報に関するお問い合わせはこちら