喫食中の顔表情からの感情推定(大学院理工学研究科綿貫啓一教授共同研究)「パリパリッのチョコモナカジャンボはポジティブ感情をもたらす可能性！」

2024/3/13

概要

森永製菓株式会社と埼玉大学は、お菓子ならではの、おいしさや楽しさといった情緒的価値を様々な手法で解明し、付加価値の高い商品の開発?提供につなげていく取組みを行っています。
“みんなが笑顔になれるアイス”を目指し、「パリパリッ」の食感やおいしさを長年にわたり追求している「チョコモナカジャンボ」について、喫食中の表情から感情を推定することができれば、チョコモナカジャンボの魅力を深掘りしてさらなる改良につなげられるのではないか、という仮説のもと研究を行いました。喫食中の顔表情をAI解析し、感情を推定した結果、「パリパリッ」のチョコモナカジャンボの喫食中はポジティブな感情になっている可能性が示唆されました。本研究は、森永製菓株式会社と埼玉大学大学院理工学研究科の綿貫啓一教授との共同研究で、2024年3月7?8日に開催された第19回日本感性工学会春季大会で発表いたしました。また、AI解析は株式会社Preferred Networksの協力のもと行いました。

研究背景と目的

顔表情は、潜在的な感情や些細な心の動きを反映しており、ヒトは顔から受発信される心理情報を察知し、対面コミュニケーションを円滑に行っています。顔表情からの感情推定において、顔表情の部位別の動き(アクションユニット)の組合せが基本的な感情と対応するというFACS理論が提唱(Ekman, E., et al., 2002)されていますが、喫食中の顔表情は咀嚼の影響などにより感情推定が難しく、表情解析から感情を推定した研究報告は多くありません。今回の研究では、モナカの食感がパリパリのチョコモナカジャンボ(以下、パリパリジャンボ)と、水分量を調整しモナカの食感がしなしなしているチョコモナカジャンボ(以下、しなしなジャンボ)を喫食した際の顔表情をAIモデルにより解析し、食感の違いがもたらす感情への影響を検証しました。

研究手法

実験参加者にはあらかじめ、視聴によりポジティブ感情?ネガティブ感情を想起することが報告されているビデオを視聴してもらい、そのときの顔表情を録画しました。AIモデルにはビデオ視聴中の顔表情を学習させ、顔表情と感情の関係性をモデル化しました。その後、パリパリジャンボ?しなしなジャンボを食べているときの顔表情をモデルに入力し、ジャンボ喫食中の感情を予測しました。

研究結果と今後

パリパリジャンボ喫食中の顔表情は、しなしなジャンボ喫食中の顔表情と比較して、目元や口元の動きからポジティブな感情になっていることが示唆されました。予測精度に関しては、非常に高い精度で感情推定が可能な被験者がいる一方で、顔表情にクセがある、または顔表情の変化が少ない実験参加者においては予測精度が低い傾向がありました。本研究では実験参加者の年齢、性別、アイスクリームの食経験や嗜好性の影響など未解明な点も多いため、今後、更なる研究を行っていきます。

埼玉大学綿貫教授コメント

私たちは、美味しいものを食べた時には、自然と顔表情にも変化が表れることがあります。人が無意識のうちに僅かに変化する顔表情を観察し、心理を理解することは重要です。人間工学的知見に基づき、顔の筋肉に対応付けた部位の時間的変化を示すアクションユニット強度とランドマーク間距離を関連付け、多様な状態より特徴量を抽出するための機械学習をもとに、感情分類のための機械学習モデルを構築し、喫食中の顔表情からポジティブ感情やネガティブ感情を推定できる可能性を知見とすることができたことは非常に興味深いことです。この研究成果が“みんなが笑顔になれるアイス”のための心と体に関する科学的なエビデンスとなり、今後さらに付加価値?感性価値の高い複合冷凍菓子の開発に役立つことを期待しております。

掲載誌	日本感性工学会第19回日本感性工学会春季大会予稿集、(2024)、2PA-19
論文名	喫食中の顔表情を入力とする感情分類モデルを用いた感情推定
著者名	田中涼、松井元樹、石黒聖子、土屋瞳、河本政人、綿貫啓一

掲載誌	日本機械学会論文集、89 巻、926 号、(2023)、p. 23-00006
論文名	複合冷凍菓子の水分量の違いが感性に及ぼす影響
著者名	綿貫啓一、河本政人、岡野洸祐、勝村和也、加納拓実、小林叶昌、間島優、小石智也、和食麻衣、田浦智裕、土屋瞳
DOI	10.1299/transjsme.23-00006

老虎机游戏