Google検索をJavaScriptなしで

発表:: LILO&東海道らぐオフラインミーティング 2025-01-26 https://lilo.connpass.com/event/341776/
source:: https://codeberg.org/matoken/LILO_TOKAIDO-2025.01/src/branch/main/slide/slide.adoc

Transcript

1. Google検索をJavaScript なしで Kenichiro Matohara(matoken) <matoken@kagolug.org> 1
2. matoken @ 鹿児島の右下の山奥から参加 好きなLinuxディストリビューションは Debian map: © OpenStreetMap contributors Kenichiro Matohara(matoken) https://matoken.org matoken@inari.opencocon.org 2
3. Google検索をJavaScriptなしで動かなく なった? 01/16日頃からGoogle検索がJavaScript offで動かなくなった と聞いてFirefox+NoScript環境で試してみると確かに駄目 更に にリダイレクトされて検索キーワードが消えて不便 個人的にプライバシーの重視やリソースの消費が気になり JavaScriptをなるべく無効にしたりTor経由で接続したりしている http://www.google.com/httpservice/retry/enablejs 3
5. テキストブラウザだと動く JavaScriptが駄目ということはw3mとかで使えなくなったか…… あれ?使える $ w3m -dump http://www.google.com/search?q=%82%CB%82%B1 | head Google [ねこ ] [検索] すべて 画像 動画 書籍 ネコ動物 ネコ ネコは、狭義には食肉目ネコ科ネコ属に分類されるリビアヤマネコが家畜化されたイエ ネコに対する通称である。イヌと並ぶ代表的なペットとして、世界中で飼われている。 5
6. いくつかのJavaScriptの動かないウェ ブブラウザ等で試す 動く w3m lynx NetSurf(JavaScript Duktape on) 動かない Firefox+NoScript NetSurf(JavaScript off) Dillo 6
7. USER-AGENTを見ていそう Firefox+NoScriptでUSER-AGENTをw3mやlynxに詐称する と動くようになった Dilloは多分source書き替えが必要なので未確認 Firefoxの場合拡張機能でGoogle検索ページURLのときにUSER- AGENTを詐称して回避できた 7
8. cli Google検索ツールのGoogler cliでGoogle検索時に便利なGooglerも動作しなくなっている $ googler neko No results. If you believe this is a bug, please review https://git.io/googler-no-results before submitting a bug report. 8
9. UAはSafariになっているのでそのせいかとUAを書き換えても動作 しない Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36 debugオプションを使ってquery結果のhtmlを覗くと元のSafari でもw3mなどでも検索結果は取得できている html形式が変わってGooglerがパースに失敗してGooglerで No results.に? 直してもまたすぐ駄目になりそう?とりあえずは w3m www.google.com などで回避 9
10. Whoogle Searchの利用 ウェブブラウザの設定を変えるのは面倒? Google検索のプロキシサーバ的なWhoogle Searchを利用してみ る  Startpage.com という一般公開された似たものもあるが自分 の環境ではJavaScriptを有効にしないとエラーページに飛ばさ れてしまう benbusby/whoogle-search: A self-hosted, ad-free, privacy-respecting metasearch engine 10
11. Whoole Searchのインストールと起動 README.md には様々な導入方法が紹介されている Dockerやpipxが手軽そう ここではsourceをcloneしてvenvに構築した $ sudo apt install libcurl4-openssl-dev libssl-dev git python3-venv $ git clone https://github.com/benbusby/whoogle-search.git $ cd whoogle-search $ python3 -m venv venv $ source venv/bin/activate $ pip install -r requirements.txt $ ./run Running on http://0.0.0.0:5000 11
12. Whoogle Search NoScriptでJavaScriptを無効にしたFirefoxでもw3mでも動作 ok 12
14. 動かなくなる? — 終わりのはじまり? 自分の環境ではまだ動いているが一部動かなくなっている人も This is possibly a breaking change that will mean the end for Whoogle. https://github.com/benbusby/whoogle- search/blob/main/README.md 14
15. Googleに拘らないのであれば? 200以上の検索エンジンに基づいたメタ検索エンジンのSearXNGな ども面白いかも(未検証) Welcome to SearXNG — SearXNG Documentation (2025.1.25+176079977) 15
16. 検索エンジンを乗り換える? 現在はアメリカ拠点のプライバシー重視検索エンジンの DuckDuckGoをメインに利用中 よくBingがsourceといわれているが400以上のソースを元にし ているらしい Torブラウザにも採用されている 検索結果のパーソナライズを行わない cliの場合Googlerのようなddgrというコマンドもある jarun/ddgr: :duck: DuckDuckGo from the terminal 16
17.  DuckDuckGoをJavaScript無しで利用する場合 で検索するとリダイレクト を挟んでちょっと面倒なので のよ うに使っている． https://www.duckduckgo.com https://html.duckduckgo.com/html?q=クエリー 17
18. まとめ Google検索でJavaScriptを無効にしたウェブブラウザなどで検索 できなくなった USER-AGENTで判断していそうなので今のところUSER-AGENT の詐称で回避可能 とはいえいつ仕様が変わるか…… Whoogle SerchというJavaScriptやトラッキングなどを除いた Google検索プロキシでも回避可能 とはいえいつ仕様が変わるか…… JavaScriptをoffにする理由がわからないという意見も? 検索エンジンも古いAIに聞け? 18
19. 奥付 発表 発表者 利用ソフトウェア + ライセンス LILO&東海道らぐオフラインミーティング 2025-01-26 - connpass Kenichiro Matohara(matoken) Neovim Asciidoctor Reveal.js CC BY 4.0 19