2021.12.14 聴覚障害や言語の壁を越え意思疎通三菱電機が新コミュニケーションツール

発話した音声を認識し、指でなぞるだけで文字を起こせる新しい操作感でコミュニケ―ションをさらに深められる

グループチャット機能を追加し、複数の端末で画面共有もできるグループチャット機能を追加し、複数の端末で画面共有もできる

 聴覚障害や外国人との言語の壁などを乗り越える、新しいコミュニケーションツールを三菱電機が提案している。同社が特許を持つ世界初のしゃべり描きUI(ユーザーインターフェース)機能がそれで、話した言葉を音声認識し、画面上を指でなぞれば、なぞった後に文字が浮かび上がるというアプリケーションだ。

 指先から文字が湧き出てくる"ワクワクする操作感"と、筆談よりも手軽にテンポよくコミュニケーションが図れるところが今までにない特長だ。

 三菱電機開発本部の統合デザイン研究所が進める自主研究プロジェクト「Design X」の中で2014年から開発に着手し、16年に生まれた技術で、以降機能を強化しバージョンアップを重ねながら、19年6月に「しゃべり描きアプリ」(ver.1)として提供を開始している。

 20年9月には聴覚障がい者支援団体などに無償提供を行ったほか、現在教育、介護施設など、世界61の国でダウンロードされ利用されているという。

 従来は近距離通信機能しかなかったが、今年10月から複数の端末に遠距離でもコミュニケーションを図れる「しゃべり描きチャット」(グループチャット)機能を追加、ニューノーマル社会における遠隔授業での利用など、より幅広い使い方が可能となっている。三菱電機総代理店の兼松コミュニケーションズが発売している。

 何かをしゃべると、その言葉が音声認識され、指で絵を描くようになぞっていけば、しゃべった言葉がそのまま文字となっていく楽しさで、授業現場や介護現場、聴覚障がい者とのコミュニケーションが、より円滑に行える。

 多言語翻訳機能(15言語)もあるため、外国人とのコミュニケーションもはかどる。さらに画像表示機能やお絵描き機能も搭載する。

 ほかの音声認識アプリとの大きな違いは、指でなぞって、文字を表示していくところで、写真を張り付けたり地図を描いたりして、その上に発話しながらコメントを加えていくなど、自由にレイアウトできる。

 また介護施設では、耳が遠くて聞き取りにくい高齢者も多く、こうした場合、従来は筆談でしっかりコミュニケーションを取ったりしているが、これだと文字を書く作業だけでも時間がかかる。

 このアプリを使えば、しゃべりながら間を置かずに画面を指でなぞるだけで文字を起こせるため、時間短縮になり、その分介護現場の負担も減らせる。

 また小学校の難聴教室では、一つの端末で写真・画像上に直接転記できるため、児童も学習に集中しやすいという。

 新機能の追加で、遠く離れた家族など一人対複数人、複数人対複数人での利用ができるようになり、授業や介護現場、博物館・水族館などでの説明、外国人への案内や研修などさまざまな用途が考えられる。

 販売を担当する兼松コミュニケーションズの山田昌洋通信ソリューション営業部長は「24年までには100万ダウンロードを目指したい」と話す。

 「しゃべり描きアプリ」(一般向け)、「しゃべり描きアプリBiz」(法人向け)(いずれもiOS12以降のiPad/iPhoneシリーズ対応)をリリースしている。