見出し画像

生の反応を「見える化」する!ビデオ会議で使えるAI「リモクション」を新卒7人で作ってみた


画像1

こんにちは、ZOZOテクノロジーズの新卒3期生R.M.です。私たち新卒は1カ月間の研修を終え、5月から各部署に配属となりました。未だオフィスには足を運べず残念ですが、リモート環境で毎日頑張っています!今回は、私が新卒研修の中で同期と共に作ったサービスを紹介します。


開発テーマ:新卒研修で感じた課題を技術とAIを用いて解決する

ZOZOテクノロジーズの新卒研修には、新卒同期だけでチームを組んで新しいプロダクトの開発に取り組むチーム開発研修があります。今年の新卒は3つのチームに分けられ「新卒研修で感じた課題を技術とAIを用いて解決する」というテーマに約2週間かけて取り組みました。


開発したサービス、その名も「リモクション」

リモクションとは画像認識のAIによって、ビデオ会議中に参加者の生のリアクションを気軽に・わかりやすく共有するためのサービスです。私たちのチームは当初PM1名、エンジニア5名、デザイナー1名の計7人チームで開発を行っていましたが、現在は新たに1名のエンジニアを加えた計8人チームで更なる改善を目指しています。

画像2


課題:ビデオ会議はリアクションが伝えにくい!

私たちが取り組んだのは、ビデオ会議におけるコミュニケーションの課題解決です。今年の新卒研修はフルリモートで、ビデオ会議アプリを通じて行われましたが、PCの負荷などを考慮し、聞き手側は質問をするときだけカメラ・マイクをONにするという形式を取っていました。

しかし、カメラを切っていると場の空気感が掴みにくく、マイクを切っていると発言のハードルが高くなってしまうという問題が起こっていました。

画像3

そしてこの2つの課題を聞き手目線、話し手目線からそれぞれ具体的に見ると以下のような問題点が挙げられました。


聞き手目線

・質問や回答がしにくい
・周りの参加者の様子のつかみにくい
・発言時の心理的ハードル、反応を伝えられないもどかしさがある

話し手目線

解決方法:AIを利用した参加者のリアクションの検出・可視化

そこで私たちが考案したのが、リアクションをAIで検出・可視化するサービス「リモクション」。具体的には、以下のようなサービスです。


リモクション 機能紹介

現在リモクションに実装されているのは、常時検出アクションと投票機能の2つです。


①常時検出アクション

常時検出可能な5つのアクションは、検出されるとアイコンがアニメーション表示され、ユーザー名が着色されます。

画像4

【うなずき】発動条件:大きく上下にうなずいてみよう!こんな時に:なるほど〜・わかる! 【うーん】発動条件:首を横にかしげてみよう!こんな時に:わからないなぁ~...・ちょっと難しいな~... 【笑い】発動条件:目元も口元もニコッ!こんな時に:ウケる!・いいね〜!【挙手】発動条件:右手をおでこの高さまで挙げてみよう!こんな時に:異議あり!・HELP!【拍手】発動条件:顔の前で大きく数回手を叩いてみよう!こんな時に:すごーい!・お疲れ様ー!


②投票機能

投票機能は話し手が設定すると開始される機能です。話し手が投票モードを開始すると聞き手側には以下のような画像が表示され、シルエットと同じポーズを取ると投票することができます。

画像5

各ユーザーが投票すると以下のようにアイコン画像が変化し、ユーザー名が着色されます。

画像6


リモクション in the future

現時点で実装済みの機能は以上になりますが、リモクションは今後以下のような機能を追加していきたいと考えています。


・ルーム機能実装
・Slack bot 連携(ルーム予約など)
・ヘルシーモード搭載(スクワットは実装済み)
・1MTGあたりのリアクションの合計表示

開発してみた感想

最後に、チームのメンバーに今回のリモクションを開発した感想を聞きました!


【MLチーム】笑顔の認識では、ひたすら自室で笑顔を作ってパラメータを調整していたので表情筋が疲れました。使用PCのスペックによっては正常に動作しないことがあるため、モデル軽量化に鋭意取り組み中です。 【WEBチーム】リアルタイム通信を柔軟に解釈して、期待通りの実装を実現するのが大変でした。個人的には、新しい技術に触れるという技術的な挑戦をしたので、勉強しながら、そして楽しみながらアプリを作ることができました。 【SREチーム 】インフラを主に担当していて、CI/CDでサービスがリリースしやすい仕組みを用意しました。インフラ環境をより良くするために、引き続き尽力します。 【DESIGNER】初めてサービスデザインをしました。ユーザーファーストで作るのはなかなか難しかったです。わかりやすく、使いやすいをこれからも更新し続けられたならと思います! 【PM】このチームの1番良かった点は、課題設定と解決策のスケッチに全員で時間をかけたことと、それによってメンバーのサービス愛が高まり、楽しく開発を進められたことかと思います!

【MLチーム】笑顔の認識では、ひたすら自室で笑顔を作ってパラメータを調整していたので表情筋が疲れました。使用PCのスペックによっては正常に動作しないことがあるため、モデル軽量化に鋭意取り組み中です。

【WEBチーム】リアルタイム通信を柔軟に解釈して、期待通りの実装を実現するのが大変でした。個人的には、新しい技術に触れるという技術的な挑戦をしたので、勉強しながら、そして楽しみながらアプリを作ることができました。

【SREチーム 】インフラを主に担当していて、CI/CDでサービスがリリースしやすい仕組みを用意しました。インフラ環境をより良くするために、引き続き尽力します。

【DESIGNER】初めてサービスデザインをしました。ユーザーファーストで作るのはなかなか難しかったです。わかりやすく、使いやすいをこれからも更新し続けられたならと思います!

【PM】このチームの1番良かった点は、課題設定と解決策のスケッチに全員で時間をかけたことと、それによってメンバーのサービス愛が高まり、楽しく開発を進められたことかと思います!


まとめ:ZOZOテクノロジーズは楽しくリモートする!

「楽しく働く」をワークスタイルとして掲げるZOZOグループ。リモートワークという環境でも皆が楽しく働けるようにしたいと思い、このリモクションを開発しました。 残念ながら社外へサービスを公開する予定はありませんが、"楽しくリモートしよう"という輪が様々なところで広がっていくと嬉しく思います。今回の新卒研修やチーム開発で学んだことを活かし、配属先でも活躍していきたいです。


最後に

ZOZOテクノロジーズでは、一緒に働く仲間を募集しています。気になる方は、採用ページをご覧ください。

【お問い合わせ】
広報に関するお問い合わせはこちら

ZOZOでは、エンジニア・デザイナーを含む各職種で採用を行っています! 採用情報はTwitterでもお知らせしているのでぜひチェックしてください!