simple web maker

本日はありがとうございます。

本日はこのような場を設けていただき、そしてお越しいただき、ありがとうございます。
武蔵野大学データサイエンス学部の授業「未来創造プロジェクト」で行った研究を本日は発表させていただきます。
今後の研究に向けたアドバイスやTech Tips、趣味のことなどなど、様々なお話をさせていただけたら嬉しいです。

研究背景

今年夏に控えた東京オリンピック。多くの観光客・外国人が来日されることが予想されます。
そんな中、みなさんは日本語以外でコミュニケーション、取れますか?

私は中学・高校と英語を多く使う学校におり、英語は普通の中高生より1mmできる方でした。
しかし、それでも外国人の先生とやり取りする時に、うまく思いを伝えられない事がありました。
英語でも、国や地域によって、言い方が違ったり、ニュアンスが微妙に違っていたり、日本語にあって英語にない言葉があったり...
英語でもこれだけの「違い」によって、コミュニケーションを取るのが難しいのに、他の言語になってくると、言葉に男性・女性・中性があったり、発音が間違って聞こえてしまって違う意味に取られたり...
他言語でのコミュニケーションは難しいものです。

そこで、これはどうにかならないものなのか、と考えるようになり、テクノロジーを用いて解決できないのか、とも考えるようになりました。
実際、最近のGoogle翻訳の中ではAIが使用され、より正確な翻訳ができるように改良が重ねられているようです。ですが、テキストベースでの翻訳には限界があります。
会話のコンテキスト、周りの環境、表情など。様々な要因によって会話は変化します。
そこで、複数の要素を用いた翻訳システムはないのか、と思うようになり、そのシステムを実現したい、と思うようになりました。

そんな中、AIについて勉強したい!とそれだけの理由で入ったようなこの武蔵野大学データサイエンス学部。そして授業としてある未来創造プロジェクト。絶好のチャンスじゃないですか。
本当はメディアとAIに関してもっと理解などを深められればいいなと思っていましたが、
やるしかない。

ということで、この絶好のチャンスでこのシステムを実現すべく、第一歩として、体勢・ポージングから感情を予測する、ということを行ってみました。

今回、このイベントで展示しているのは、実際に先日、武蔵野大学で行われた「未来創造プロジェクト成果発表会」で発表したものです。
このページと併せて、ご覧いただき、アドバイスなどをいただけるとありがたいです。

今までの取り組み

過去の取り組み (コーディング系のみ)

コーディング初心者
(小学校)

最初はHTMLの中身を覗いてみたり、プログラミング体験会で使ったVisual Basicでアプリ作ってたり... (ちなみにもうVisual Basicなんか使えません)

Web系
(小中高)

最初はHTMLやCSSだけで作ったWebサイト、そこからWordpressを扱うためにPHPを勉強。その知識でLINE@やSlackのBOT制作をやってたりします。

クリエイティブ系
(中高)

当時、HIKAKINなどのYouTuberは流行り始めた頃。Adobe Premiereなどで動画編集をはじめ、そこからクリエイティブ系にどっぷり。

メディア・アート系
(高校)

OpenFrameworksやProcessing、TouchDesignerなどを使ってメディア・アートをかじってました。主に使っていたのはOpenFrameworks。

2019年度 (学部入学後)の取り組み

micro:bit??

学部に入学してはじめて触ってコーディングしたデバイス、micro:bit。今までソフトウェアばかりだったので、ハードのプログラミングは新鮮でした。

Pythonはじめました

学部に入学してから初めてPythonを触り始めました。高校でOpenFrameworks (C++ベース)をずっと触っていたので、if文の書き方など、違和感しかありません。

AI / ML with Python

初めてのPythonでいきなりAIや機械学習のコーディングを始めることに。SciKit Learn, YOLO, BERT, MeCabなどをこれまでに扱いました。未だに追いつけません。

概要・構成

今回はPose2Textと題し、人間の体勢を対象とした状況説明自動生成方式とそのARアプリへの適応に関する研究を行いました。
これは、人間の体勢、つまりポージングからどのような感情なのかを予測し、それを可視化し、フィードバックするものです。
このシステムの構成は以下の通りです。

1.

対象者の撮影

ウェブカメラで対象者を撮影。手軽さ等も考え、1点からのみ撮影。

2.

OpenPoseを用い、体勢を分析

Carnegie Mellon大学 (アメリカ)のチームが開発したOpenPoseを使用し、リアルタイムに「キーポイント」と呼ばれる身体の関節点を取得。

3.

キーポイントから感情を抽出

OpenPoseで取得したキーポイントから腕の角度を計算・抽出することにより、体勢を数値化。
事前に用意した訓練データと比較することにより、体勢が意図する感性 (感情)を自動抽出。

4.

OpenFrameworksを用い可視化

OpenFrameworksという、メディアアートなどに使われるライブラリを用い可視化。以前、OpenFrameworksを使用したことがあるため、今回も使用。

会場でのデモ展示に関して

この研究のゴールは、ウェアラブルのデバイスを用い、上記のシステムによって、感情や関連するキーワードを抽出することです。
本日、会場で行ったデモでは、Windowsのラップトップを用い行っていましたが、ユーザーにはGoogle Glassのようなウェアラブルの端末、そして処理側としてRaspberry Pi、もしくはJetson Nanoを使用することを検討しています。しかし、ウェアラブル端末に関しては実機が入手できないこと、処理側は元々Jetson Nanoを使用することを前提に研究を進めていましたが、ハード面の問題が浮上し、実現には至りませんでした。

これに関しても、今後、改善していく予定ではありますが、もし、アドバイスなどございましたら、教えていただけるとありがたいです。

今後の展望

ここで終わるわけにはいきません!
今後のPose2Text、そしてそこから発展させた研究に関しての展望です。

1.

Honest and Dependable

演劇やドラマの映像・テキストデータから訓練データを更に用意し、Machine Learning (SciKit Learnなど)を用いて、精度の高い感情予測を目指します。
また、訓練データを実世界に適用できるデータ (実際の生活の風景を実際に使うデバイスで撮影したもの)へとシフトしていくことも視野に入れています。

2.

We Are Always Improving

ウェアラブル端末にシステムを移植し、日常生活で使えるようなものにしていきます。
翻訳システムは日常で使えないと意味がありません。なので、モバイル化は絶対に、そして早急に実施したいと考えています。

3.

We Are Passionate

より正確翻訳システムへ。
このシステムが完成すれば、テキスト・そして体勢の2要素での翻訳が可能になると考えています。ここから、表情や様々なビッグデータ、更には脳波なども用い、正確な翻訳システムとして、また、意思疎通をより円滑に行えるシステムの構築を目指しています。

ご質問やアドバイス
お待ちしております

右のボタンからプロフィールやいままでの成果を掲載しているサイトに飛ぶことができます。

最後に...

今回の「未来創造プロジェクト」では、他のプロジェクトの研究に参加していたりします。
ぜひ、その研究もご覧いただき、それぞれにアドバイスなどをしていただけるとありがたいです。

4. 佐藤さん

アクセス解析結果に基づいた学生運営Webサイトの構築と運用

武蔵野大学データサイエンス学部の学生運営のウェブサイトを制作。学部のなかの事についてアピールすると同時に、アナリティクスなどのデータから分析を行い、SEOに反映させていく。
stu-muds.io

6. 萩本くん

対話の初期段階を支援するための特定人物模倣型チャットボットPMCBの開発

学部で使用しているコミュニケーションツール、Slackの履歴から特定人物の特徴を抽出することにより、その人物を模倣するチャットボットを制作する。

Copyright 2020 Kyosuke Miyamura. All Rights Reserved.