@litalico_lab 所長（生成AIの普及推進＆新規価値創出、AIアライメント）｜みんなのアクセス代表｜修士(学際情報学)｜#mJOHNSNOW フェロー｜手話学習中｜ 趣味：📚️🎹🙌🍷🥃🍝
新潟→札幌→後楽園・中目黒・ネット
Joined June 2009
- Tweets21.6K
- Following1.7K
- Followers2.1K
- Likes3.8K
榎本大貴｜LITALICOで障害福祉xAIやってます retweeted
LITALICOの新卒×エンジニアリングマネージャーによる記事。ユーザーに多く会って共に考え、どんな履歴書の型・入力や閲覧インターフェースであれば企業様・当事者の方の双方にとって良い活動のご支援ができるか磨いてくれました。素晴らしいプロダクト開発のプロセスです。
note.com/ba_shiko/n/nc52ea19…
Anthropicが、エージェントの記憶をどう作るかを実験つきでまとめてた。作業中にメモを書くことと、手が空いた時間にログを見返して記憶を整理し直す「dreaming」を分けて、それぞれが何に効くかを見せてくれてる。
・強いモデルほど何を残すかを任せたほうがよく、「失敗だけ記録して」と縛ると記憶による伸びがかなり減った
・約35万ファイルの社内文書についての25問では、採点項目の達成率が検索だけだと53%、wikiを育てながら検索と併用すると61%まで上がった
・dreamingでは、メモを元のログと照らして間違いを直したり、メモをつないだwikiを作ったりする
・複数のエージェントが同じ表にまとめたら上書きで事実が抜け、1件1ページで原文どおり引用すると残った
・毎回読み込むメモに間違いがあると全部のセッションに持ち越されるので、小さく保つ
Googleの「sleep」の研究は重みを更新する話だったけど、こっちは重みには触らずノートとwikiで覚える話で、めっちゃ面白い。支援記録や引き継ぎにこういう記憶を使うなら、誤った記憶が残り続けたり、本人の知らないところで記録が増えたりはしてほしくない。何をどこまで覚えるかを本人と決めて、あとから一緒に見直せる形にしておきたい。
Memory is what allows Claude to learn from experience. In a new Engineering Blog post, we share how “dreaming” helps Claude organize what it’s learned, correct its mistakes, and find what it needs more easily the next time. anthropic.com/research/compo…
digital-gov.note.jp/n/n69962…
デジタル庁が、職員向け生成AI「源内」のアクセシビリティの取組をnoteにまとめてた。生成AIのUIならではの「待ち」と「途中経過」をスクリーンリーダーでどう伝えるかが、設計の理由まで具体的に書いてあって、国内の公的な事例としてかなり参考になる。
・AIの回答は、開始と完了を確実に伝えたうえで、流れてくる文章を逐次読み上げずにまとめて読む
・長い待ち時間は一定の間隔で知らせる。当初5秒だったのを、フィードバックを受けて8秒にした
・画面の変化は、まず予期しない変化を起こさない、次に近くへフォーカスを移す、離れた変化だけライブリージョンで伝える、という順で考える
・視覚障害の当事者を含む専門家が、機能を足すたびにスクリーンリーダーやキーボードだけの操作で確かめている
・得た知見をルールファイルにまとめて、AIでコードを書くときにも読ませている
一方で、チェックに入っている当事者として書かれているのは視覚障害の人で、ほかの障害でどこまで確かめたかはまだ見えない。生成AIのUIはどこもまだ手探りだからこそ、いろんな障害の当事者と一緒に見ていきたい。
声の特徴から双極性障害を判別するAI研究に、「採用面接で使われそう」という反応がある。その心配はわかるし、だからこそ研究と使い道は分けて見たい。
・慶應・東京科学大・静岡大のグループが、医療機関で録音した面接の会話を解析した研究。JMIRに掲載
・双極症は最初はうつ病と診断されることが多く、症状が出てから正しい診断がつくまで平均6年ほどかかるという報告もある。その間を補う手がかりとして声に注目している
・リリースは、臨床面接に取って代わるものではなく補助として使うもの、と明記している
・声の特徴は集団としての傾向で、その特徴がある人が双極性障害だという意味では決してない、とも書いている
・性能は同じデータの中で測った値で、別の集団での検証はこれから
本人の同意と目的を決めて医療の中で使う話と、本人の知らないところで人をふるい分ける話は別物。その線引きは、技術が広がる前に考えておきたい。
自然会話の特徴から双極性障害を高い精度で判別「会話の内容」よりも「声の音響的な特徴」に手がかり
isct.ac.jp/ja/news/yoa2mypal…
#ScienceTokyo
授業スライドの画像に付ける代替テキスト(alt text)を、生成AIに下書きさせたらどこまで使えるか。看護教育の小さな研究が出ていた。
・Nurse Educator掲載。看護教員10人が、ChatGPT-4の作った代替テキスト43件を5段階で評価
・正確さは平均4.44(肯定的90.7%)、意味のある説明か4.30(86.0%)、役に立つか4.05(76.7%)
・指摘は「正確だけど授業の文脈がない」「微妙に意味がずれる」「長すぎる」の3つ
・結論は、下書きとしては使えて負担も減るが、教科の専門家の見直しは要る
評価したのは教員側で、説明を読む側の学生ではない。次は読む人の評価も見たい。
"Faculty’s Digital Accessibility Assistant: Does Generative AI Write Accurate, Meaningful, and Useful Alternative Text for Course Images?"
The authors evaluated the quality of AI-generated alt text for course images.
#Video ovid.com/jnls/nurseeducatoro…
ovid.com/jnls/nurseeducatoro…
ALT Title slide for the video abstract for the article entitled "Faculty’s Digital Accessibility Assistant: Does Generative AI Write Accurate, Meaningful, and Useful Alternative Text for Course Images?"
プロンプトエンジニアリングをしていく感覚はいよいよなくなってきた。
・ad hocな依頼→簡潔なプロンプト（動詞、条件、成果物形式）＋読み込ませるコンテキスト（URL、リポジトリ）投入してプロンプト
・成果物作り→非コード/コード問わず、テストと完了条件を作成し、その上でそれが達成されるまでloopしてプロンプト。GemとかSkillもこれで、それらのプロンプト中身を見ないし自分で作らない。大事なことは完了条件や品質基準を定めてそれを達成する率をモニタリングすること。
・他者の生成を支える仕組み作り→業務フロー＋ハーネス＋自動化するにはどうしたらいいかをプロンプト
バリアフリーって、段差をなくして終わりじゃないんだなと。10月に虎ノ門ヒルズであった、視覚障害のある人向けの「AIスーツケース」の実証。AI Watchのレポートで、街をつくる側の話が印象に残った。
・森ビルは歩行者デッキなどでバリアフリー化を進めてきたが、ハード面だけでは「自由に買い物や食事を楽しみたい」というニーズに応えにくい、と説明
・屋内はGPSが使えないので、施設の地図を整え、店のメニューなどの情報も足して、質問に答えられるようにした
・開発に携わる日本科学未来館館長の浅川智恵子さんは、カメラやセンサーを積んだロボットへの周囲の理解も欠かせないと話している
支援機器が街に出るとき、整えるのは機器だけじゃない。地図や店の情報、まわりの人の受け止め方まで含めて、街の側の準備なのかなと。
森ビルは一般社団法人のAIスーツケース・コンソーシアム（東京）が主催する、視覚障害者の移動を支援する自律型ナビゲーションロボット「AIスーツケース」の実証実験に協力する。 fashionsnap.com/article/2026…
榎本大貴｜LITALICOで障害福祉xAIやってます retweeted
障害のある方の暮らしでは、18歳で学校を卒業するとき、65歳を迎えるとき、親が高齢になったときなど、節目で使える支援や暮らしが変わることがあります。
こうした節目の経験や、これから迎える節目へのご経験やご心配を伺うAIインタビューを公開しました。
ご本人、ご家族、支援者の方、ぜひお声をお寄せください!
いただいたお話は、チームみらいが障害福祉の政策を考える材料にします。
▼AIインタビュー
interview.team-mir.ai/interv…
Webアクセシビリティ診断に、AIの自動診断と障害当事者の利用評価をセットで入れる取り組み。AIだけで終わらせない設計なのがいいなと。
・CULUMU(STYZ)の診断自動化ツール「AXY」を、第三者検証のEGテスティングサービスの診断に組み込む(PR TIMES、10月28日)
・AI診断で網羅的に確認、専門家が規格適合を判定、障害当事者が実際に使って評価、の3つの軸
・「操作はできるが目的を達成できない」ような、自動診断でも専門家診断でも見つけにくい課題を当事者評価で拾う
・人にとっての読みやすさと、検索エンジンや生成AIにとっての読み取りやすさを、同じ情報構造の問題として見る
AIでチェックが速く安くなるほど、最後に当事者が使ってみる工程の価値が上がる気がする。そこを最初から組み込んでるのは大事かなと。
CULUMUの診断自動化ツール「AXY」が、第三者検証のEGテスティングサービスさんの診断サービスに導入されます。
AI診断×専門家の規格判定×障害当事者の利用評価、3つの軸でWebサイトを検証できる体制に。
「人にもAIにも、分かりやすく」
prtimes.jp/main/html/rd/p/00…
#アクセシビリティ
榎本大貴｜LITALICOで障害福祉xAIやってます retweeted
生成AIを最大限活用する中で、人間だからこその価値は何か？の1つで最近考えること。「意志を持つことについて。／「生成AIの"っぽい"整理」と「多様な意見」の中で持つべき意志とリーダーシップ｜TetsuyaKameda｜LITALICO @ka_me_sen_nin
note.com/ka_me_sen_nin/n/n16…
榎本大貴｜LITALICOで障害福祉xAIやってます retweeted
「インクルーシブ教育は、障害のある子のためのものではありません。多様な人が出会い、違いを知り、折り合いをつける。学校がそうした民主主義の土台を学ぶ場になるためのものです。
学ぶ場が分かれると、障害のある子どもたちが地域のなかで見えない存在になってしまいます。排除や差別のない共生社会をつくるためには、ともに学ぶ経験が欠かせません。」
AERA最新号特集「『ともに学ぶ』を日常に」に取材記事が掲載されています。
デジタル版はこちら→
dot.asahi.com/articles/-/296…
ALT AERA表紙
ALT 記事の写真
榎本大貴｜LITALICOで障害福祉xAIやってます retweeted
anさんの文章毎回ヤバいわ。魂を震わせてくる。AIでコードを書かなくなったなーって人は必見すぎる。
note.com/cap120/n/nd766ccccc…
昨年登壇させていただいた本イベントが今年も開催されます！！
企業のリアルワールドデータに関する取り組みをされている方、関心のある研究者はぜひ。
企業のRWDと、研究者をつなぐ貴重な機会だと思います。
mmedici.co.jp/japanrwdbusine…
AIエージェントがブラウザを操作するとき、画面を「見て」いるとは限らない。スクリーンリーダーと同じ情報を読んでいる、という解説記事。
・MicrosoftのPlaywright MCPは、スクリーンショットではなく、ページのアクセシビリティツリー(役割・名前・状態)を文字にしてAIに渡す
・なので、ラベルのないアイコンボタン、canvasで描いたアプリ、画像だけの内容は、エージェントにも扱いにくい
・記事いわく、スクリーンリーダー利用者を阻むバリアの多くは、エージェントも阻む。意味のあるマークアップは、人にもエージェントにも効く
障害のある人が使えるように作ることが、そのままAIエージェントに使ってもらえることにもつながる。アクセシビリティを、プロダクトの基本として見直すきっかけになりそう。
Playwright MCP lets AI agents click buttons they can’t see.
No screenshots. No vision model. It reads the accessibility tree, like a screen reader.
So what blocks screen reader users blocks agents too.
How it works 👇
accessibilitychecker.org/blo…
#PlaywrightMCP #AIAgents
