35645 Be My Eyesアプリ関連の話 - OpenAIのGPT-4を利用してバーチャルボランティアが誕生?

["Hiroyuki Shinagawa" <g.g.shinagy@xxxxxxxxx>]

品川です。

CSUN、アメリカで開催されていたアクセシビリティをテーマにした世界最大級のカン
ファレンスが閉幕しました。
昨年は複数行や食図を表示する点字デバイスが注目されていましたが、今年は
Open-AIのGPT-4が話題をかっさらっていったのかもしれません。

Introducing Our Virtual Volunteer Tool for People who are Blind or Have Low
Vision, Powered by OpenAI’s GPT-4
https://www.bemyeyes.com/blog/introducing-be-my-eyes-virtual-volunteer

Be My Eyes uses GPT-4 to transform visual accessibility.
March 14, 2023
https://openai.com/customer-stories/be-my-eyes

視覚障害者とボランティアをつなぐアプリ「Be My Eyes」に言語モデル「GPT-4」搭
載 - ケータイ Watch
https://k-tai.watch.impress.co.jp/docs/news/1486058.html

ご存じの通り、Be My Eyesはボランティアにビデオ通話して、カメラに写るものを見
てもらえる視覚支援アプリです。
新しく組み込まれる機能としては、
写真を撮影してOpenAIのGPT-4に画像分析させ、その説明を受け取る。
それだけでなく、ユーザが質問したことに答えてくれる。
バーチャルボランティア的な役割をしてくれるようです。
もしバーチャルボランティアが解答できなければ、リアルボランティアにつながる工
夫も考えられているんだとか。

こちらのルーシーさんのデモ動画がわかりやすいです。

In this video, Lucy Edwards uses the new Virtual Volunteer in the Be My Eyes
app to read through
https://video.twimg.com/ext_tw_video/1636374261291012096/pu/vid/720x1280/mm4
agADv2vtmGgjR.mp4?tag=12

以前からBe My Eyesでは視覚障害者よりもボランティアが多く登録しているものの、
ボランティアに通話がやってこないという話をよく聞きました。
アプリを利用していない視覚障害ユーザに尋ねてみると、
気遣いしてしまう、
知らない人と話すのは恥ずかしい、
そんな話をよく聞きました。
バーチャルのボランティアであればそのような抵抗感を抱く人は少なくなるかもしれ
ませんね。

OpenAIはシステム改善のためにデータ収集しているでしょうから、個人情報を発信し
ない方がよいとは思いますけど。

はたして日本語で利用できるのかどうかが気になるところですが、試してみなければ
わかりません。

また、上記の記事内で書かれていますが、
>> この新機能は、今後数週間以内に法人向けにベータテストを開始し、
>> 年末には、法人向けのカスタマーサポートプラットフォーム「
>> Specialized Help」として利用される予定。
この説明がよくわかりませんでした。
スペシャライズドヘルプでなくても利用できると思っているんですけども。

現在はベータ版のユーザしか利用できないそうなので、iOSの一般ユーザはウェイ
ティングリストに登録して待つしかない状態です。
Android版についてはまだウェイティングリストは用意されていません。
最新の情報はBe My EyesのTweetで確認できます。

Be My Eyes（@BeMyEyes）さん / Twitter
https://twitter.com/BeMyEyes


ところで、ここからはまったく関係のない話です。
画像をアップロードして説明を受ける。
iOSで最初に登場したアプリがVizWizだと思います。
機械で認識、人の目で説明、どちらかを選べるようになっていましたが、画期的なア
プリでした。

そのエピソードは
第10回オンキヨー世界点字作文コンクールの受賞作品でも語られており、たいへん印
象深かったです。
2013年3月31日号の点字毎日に掲載されていましたが、作品は下記のサイトで公開さ
れています。

オンキヨー株式会社：第10回オンキヨー世界点字作文コンクール
海外の部　WBU-NAC地域　シニア・グループ　優秀賞
「道具と成長する術（すべ）」
アメリカ　ジェシー・キルヒナー　（28歳・女性）
http://www.jp.onkyo.com/tenji/2012/nac02.htm

その後TapTapSeeアプリ、Seeing AIアプリ、Envision AIアプリなど、画像の説明を
してくれるアプリはいくつも登場しました。
しかし、自分が本当に知りたい情報を教えてくれるかというと、けしてそうではない
ことが多く、個人的には画像説明を参考にすることは少なくなりました。

GPT-4を利用することで、ユーザが知りたい画像の中のピンポイントの情報を知るこ
とができるようになるのであれば、これからは画像と仲良く付き合えそうな気がして
きました。

とあるPodcastでエジケン先生がおっしゃっておられましたが、
「GPT-4の登場はiPhoneがこの世に出てきたよりもインパクトがありわくわくしてい
る」

視覚障害者にとっても明るいニュースになりそうです。
もちろん道具として適切に使うのであれば。