本日はこのような場を設けていただき、そしてお越しいただき、ありがとうございます。
武蔵野大学データサイエンス学部の授業「未来創造プロジェクト」で行った研究を本日は発表させていただきます。
今後の研究に向けたアドバイスやTech Tips、趣味のことなどなど、様々なお話をさせていただけたら嬉しいです。
最初はHTMLの中身を覗いてみたり、プログラミング体験会で使ったVisual Basicでアプリ作ってたり... (ちなみにもうVisual Basicなんか使えません)
最初はHTMLやCSSだけで作ったWebサイト、そこからWordpressを扱うためにPHPを勉強。その知識でLINE@やSlackのBOT制作をやってたりします。
当時、HIKAKINなどのYouTuberは流行り始めた頃。Adobe Premiereなどで動画編集をはじめ、そこからクリエイティブ系にどっぷり。
OpenFrameworksやProcessing、TouchDesignerなどを使ってメディア・アートをかじってました。主に使っていたのはOpenFrameworks。
学部に入学してはじめて触ってコーディングしたデバイス、micro:bit。今までソフトウェアばかりだったので、ハードのプログラミングは新鮮でした。
学部に入学してから初めてPythonを触り始めました。高校でOpenFrameworks (C++ベース)をずっと触っていたので、if文の書き方など、違和感しかありません。
初めてのPythonでいきなりAIや機械学習のコーディングを始めることに。SciKit Learn, YOLO, BERT, MeCabなどをこれまでに扱いました。未だに追いつけません。
ウェブカメラで対象者を撮影。手軽さ等も考え、1点からのみ撮影。
Carnegie Mellon大学 (アメリカ)のチームが開発したOpenPoseを使用し、リアルタイムに「キーポイント」と呼ばれる身体の関節点を取得。
OpenPoseで取得したキーポイントから腕の角度を計算・抽出することにより、体勢を数値化。
事前に用意した訓練データと比較することにより、体勢が意図する感性 (感情)を自動抽出。
OpenFrameworksという、メディアアートなどに使われるライブラリを用い可視化。以前、OpenFrameworksを使用したことがあるため、今回も使用。
演劇やドラマの映像・テキストデータから訓練データを更に用意し、Machine Learning (SciKit Learnなど)を用いて、精度の高い感情予測を目指します。
また、訓練データを実世界に適用できるデータ (実際の生活の風景を実際に使うデバイスで撮影したもの)へとシフトしていくことも視野に入れています。
ウェアラブル端末にシステムを移植し、日常生活で使えるようなものにしていきます。
翻訳システムは日常で使えないと意味がありません。なので、モバイル化は絶対に、そして早急に実施したいと考えています。
より正確な翻訳システムへ。
このシステムが完成すれば、テキスト・そして体勢の2要素での翻訳が可能になると考えています。ここから、表情や様々なビッグデータ、更には脳波なども用い、正確な翻訳システムとして、また、意思疎通をより円滑に行えるシステムの構築を目指しています。
武蔵野大学データサイエンス学部の学生運営のウェブサイトを制作。学部のなかの事についてアピールすると同時に、アナリティクスなどのデータから分析を行い、SEOに反映させていく。
stu-muds.io
学部で使用しているコミュニケーションツール、Slackの履歴から特定人物の特徴を抽出することにより、その人物を模倣するチャットボットを制作する。