俺はビッグエンディアンでテストがしたいんだ！

俺はビッグエンディアンでテストがしたいんだ！ @kawasin73

言語の壁をぶっ壊す

自己紹介かわしん @kawasin73 東京大学工学部システム創成学科 3年生 (2年半休学してました) DMM.com のCTO室で、Go言語でデータベースを作るインターンこの1年半くらいGo。それまでは、Rails、iOS、Android、Webフロントなど趣味は特にない（強いて挙げれば蟻の飼育）

ビットベクトルライブラリを作ってテストした Go 言語でマシンエンディアンに関わらず指定されたエンディアンで動くビットベクトルライブラリを作ってテストを行った https://github.com/kawasin73/bitset ビットベクトル：[]bool の省メモリ版データ構造

エンディアンとは

エンディアンはバイトの並び順（バイトオーダーとも）例えば uint64 は 8 バイトの数値。その中身がどのように配置されているかビッグエンディアン 0x0123456789abcdef → 0x01
| 0x23 | 0x45 | 0x67 | 0x89 | 0xab | 0xcd | 0xef リトルエンディアン → 0xef | 0xcd | 0xab | 0x89 | 0x67 | 0x45 | 0x23 | 0x01 エンディアンとは

エンディアンはどう決まるのかエンディアンは CPU によって違う。 amd64 (Intel) など → リトルエンディアン arm
など → ビッグエンディアン CPU によっては切り替えることもできる

エンディアンはいつ気にするのか？バイナリで外部とのやりとり（ファイル読み書き、ネットワーク通信）する時エンディアンが違うと正しい値を読み取れない。ビッグエンディアンの uint64(1) → リトルエンディアンのuint64(72057594037927936) 普通は、ネットワークライブラリがエンディアン処理をしているので、気にする必要はない。

Go でのエンディアン "encoding/binary" パッケージが用意されている binary.BigEndian.PutUint64(bytes, v) binary.LittleEndian.Uint64(bytes) Go ではエンディアンは露出しない。uint64 のビットの順番は環境に寄らず同じ

課題ファイルへの読み書きを頻繁に行う時毎回エンディアン処理を行うのはオーバーヘッドになる。

言語の壁をぶっ壊す

unsafe.Pointer だ！！

unsafe.Pointer マシンエンディアンで直接扱うために、unsafe.Pointer を使って []byte から []uint64 に強制キャストをしている。

壊したので unsafe.Pointer によって壊したので、どのエンディアンの環境でも正しく動くかをテストする必要がある。

俺はビッグエンディアンでテストがしたいんだ！ @kawasin73 本編

Travis CI で自動テスト Travis CI の CPU アーキテクチャは amd64 （リトルエンディアン）のみ
Travis CI でビッグエンディアンでテストする手法を探す → QEMU でビッグエンディアンの CPU をエミュレートする

qemu で go test Linux で Go の実行環境をインストールできるのは以下のCPUアーキテクチャ amd64, 386,
arm, arm64, s390x, ppc64le この中で、ビッグエンディアンなのは s390x https://golang.org/doc/install#requirements ※ arm はリトルエンディアン、armbe がビッグエンディアン

qemu-ppc64-static で go test 無慈悲なエラー

なんでや

go test はできない原因は不明。Go が悪いのか qemu が悪いのか。 qemu が特定の CPU
命令に対応していない？行き詰まった。

救世主

おい、テストをコンパイルできるらしいぞ

コンパイルできると可能性が広がるビッグエンディアンに対応している ppc64, mips, mips64, s390x ppc64 だとうまくいった

結論

よっしゃ https://travis-ci.com/kawasin73/bitset/jobs/172066523

参考資料ブログ記事 https://kawasin73.hatenablog.com/entry/2018/12/01/172708 対応した github issue https://github.com/kawasin73/bitset/issues/5

俺はビッグエンディアンでテストがしたいんだ！

俺はビッグエンディアンでテストがしたいんだ！

kenjihanada

More Decks by kenjihanada

Other Decks in Technology

Featured

Transcript