Screen Lens - 今見てる画面を翻訳する

今見てる画面を丸ごと翻訳するOmarchy Pluginを作りました。

Transcript

1. Screen Lens 今見ている画面を翻訳する komagata Omarchy TOKYO Meetup vol.1 2026 年 9 月 10 日
2. 自己紹介 komagata https://x.com/komagata フィヨルドブートキャンプ オンラインプログラミングスクール https://bootcamp.fjord.jp/
3. DHH からの問いかけ “this is what perfect omarchy looks like for japan” DHH / Omarchy Japan での言葉 日本にとって理想の Omarchy をリストアップしてほしい そこで、日本で使うために必要なものを整理した
4. 日本で使うためのベースライン 日本語キーボード配列が使える（解決済み） 日本語を入力できる 日本語で音声入力できる OS の UI が日本語になっている OS の標準ソフトウェアを日本語で使える マニュアルを日本語で読める（ DHH が解決）
5. でも、理想の Omarchy って何だろう？ もっとチャレンジングな機能が欲しい 理想は、画面全体が勝手に翻訳されること そこまでは無理だが、 Screen Lens というのを作りました。
6. アプリごとに翻訳するのは面倒 ブラウザ チャット Steam それぞれの英語を いちいち翻訳する 理想の翻訳 画面全体を自動で 翻訳してほしい
7. デモ 2026 年 9 月 10 日時点の試作 Super + Ctrl + J 今の画面を撮影して、日本語の静止画を表示 Space で原文と比較 ／ Esc かクリックで終了 静止画なので、元アプリの操作やスクロールはできない 翻訳時に、画面画像と認識した文字を OpenAI へ送信します。
8. 翻訳前
9. 翻訳後
10. 仕組み 1. OCR ：文字と位置を読み取る RapidOCR + ONNX Runtime （ PC 内の CPU ） 位置検出： PP-OCRv5 Mobile ／ 読み取り： PP-OCRv6 Small 2. 翻訳：画面の文脈も参考にする OpenAI GPT-5.6 Luna （クラウド API ） 文章・座標と画面画像を送り、日本語に訳す 3. 描画：元の位置に日本語を重ねる Pango / Cairo 背景色と文字サイズを調整し、静止画として表示
11. 工夫したポイント：画面の文脈も渡す 認識した文章と位置 ＋ 周辺の文字 ＋ 画面画像 翻訳モデルが、画面の文脈も参考に意味を判断 たとえば “ Open” は、ファイルなら「開く」、店なら「営業中」 画像は意味を判断する手がかり。誤認識や誤訳は残る
12. まだ難しいところ 小さい文字や、途中で切れた文 読み落としや誤訳がある。大事な内容は原文で確認 日本語が元の枠に収まらない 文字が読みにくくなったり、英語のまま残ったりする 待ち時間とプライバシー ネット接続が必要。秘密情報を自動で隠す機能はない
13. まとめとこれから 画面を撮って、その位置で日本語を読む 次は、待ち時間の短縮と文字の読みやすさを改善 皆さんの理想の Omarchy には、何が欲しいですか？ ソースコード・導入手順 https://github.com/komagata/screen-lens