Share
Embed
創業以来のPHPシステムが生み出した混沌をGoへの移行で乗り越えた話
Go Conference 2022 Springでの登壇資料です。
https://gocon.jp/2022spring/sessions/a2-c/
moriuss
April 28, 2022
Transcript
33 slides
-
• 株式会社ヤプリ 森谷洋祐 • サーバーサイドエンジニア • ヤプリは4年目 • Go歴も4年目 •
前職はPHPを2年ほど 自己紹介 -
ヤプリのアーキテクチャ CMS Native用APIサーバー PHP (2013〜2020) Go + Nuxt (2018〜) PHP
(2013〜) 今回はここの話 DB アプリ運用者 アプリ コンテンツ編集 コンテンツ取得 -
• フレームワークを使わない生のPHP • 創業当時のCTOがほぼ1人で書いた、開発速度最優先のコード ◦ テスト無し ◦ 静的解析無し ◦ クラスほぼ無し
◦ 関数ほぼ無し • 創業フェーズでは最適 • しかし拡大フェーズでは負債 移行前のつらみ -
• メモリ・CPU効率への期待 • 静的解析の恩恵 • 学習コストの低さ • 複雑なコードの生まれにくさ • 社内で小さな導入実績があった
• メンバーの興味 • 将来の採用力向上 Goの選定理由 -
• 例えばこんなテーブル • chaos_ jsonの中身 CREATE TABLE "contents" ( "id"
integer, "chaos_json" text, PRIMARY KEY (id) ); DBには大量のJSONカラム(text型) { "name": "hoge" } -
• sqlxパッケージのSelectで構造体に当てはめたい • ChaosJsonフィールドはstring??? Go側の構造体定義 type Content struct { ID
int64 `db:"id"` ChaosJson string `db:"chaos_json"` } func main() { db, _ := sqlx.Open("driver", "dsn") var contents []*Content _ = db.Select(&contents, "SELECT id, chaos_json FROM contents") } -
• できればmapで定義したい • もっと言えば構造体で定義したい Go側の構造体定義 type Content struct { ID
int64 `db:"id"` ChaosJson map[string]string `db:"chaos_json"` } type Content struct { ID int64 `db:"id"` ChaosJson *JsonStruct `db:"chaos_json"` } type JsonStruct struct { Name string } -
• できればmapで定義したい • もっと言えば構造体で定義したい Go側の構造体定義 type Content struct { ID
int64 `db:"id"` ChaosJson map[string]string `db:"chaos_json"` } type Content struct { ID int64 `db:"id"` ChaosJson *JsonStruct `db:"chaos_json"` } type JsonStruct struct { Name string } “unsupported Scan” エラー “unsupported Scan” エラー -
func (db *DB) Select(dest interface{}, query string, args ...interface{}) error
{ return Select(db, dest, query, args...) } func Select(q Queryer, dest interface{}, query string, args ...interface{}) error { rows, err := q.Queryx(query, args...) // ... return scanAll(rows, dest, false) } func scanAll(rows rowsi, dest interface{}, structOnly bool) error { // destの種別判定や、reflectでゴニョゴニョ頑張っている処理 // ... for rows.Next() { // destが構造体のsliceの場合、valuesは構造体の各フィールド([]interface{}型) err = rows.Scan(values...) // ... } } sqlxパッケージが構造体に値を入れている仕組みを見てみる github.com/jmoiron/sqlx -
sqlパッケージのRows.Scanを見てみる func (rs *Rows) Scan(dest ...any) error { // Mutexのロック処理など
// ... // 現在行のカラムでループ for i, sv := range rs.lastcols { err := convertAssignRows(dest[i], sv, rs) // ... } return nil } database/sql -
sqlパッケージのRows.Scanを見てみる func convertAssignRows(dest, src any, rows *Rows) error { //
Common cases, without reflect. switch s := src.(type) { case string: switch d := dest.(type) { case *string: if d == nil { return errNilPtr } *d = s return nil case *[]byte: if d == nil { return errNilPtr } *d = []byte(s) return nil case *RawBytes: if d == nil { return errNilPtr } *d = append((*d)[:0], s...) return nil } case []byte: switch d := dest.(type) { case *string: if d == nil { return errNilPtr } *d = string(s) return nil case *any: if d == nil { return errNilPtr } *d = cloneBytes(s) return nil case *[]byte: if d == nil { return errNilPtr } *d = cloneBytes(s) return nil case time.Time: switch d := dest.(type) { case *time.Time: *d = s return nil case *string: *d = s.Format(time.RFC3339Nano) return nil case *[]byte: if d == nil { return errNilPtr } *d = []byte(s.Format(time.RFC3339Nano)) return nil case *RawBytes: if d == nil { return errNilPtr } *d = s.AppendFormat((*d)[:0], time.RFC3339Nano) return nil } database/sql -
sqlパッケージのRows.Scanを見てみる func convertAssignRows(dest, src any, rows *Rows) error { //
... if scanner, ok := dest.(Scanner); ok { return scanner.Scan(src) } // ... } type Scanner interface { Scan(src any) error } database/sql -
Scanメソッドを実装 type Content struct { ID int64 `db:"id"` ChaosJson *JsonStruct
`db:"chaos_json"` } type JsonStruct struct { Name string `json:"name"` } func (j *JsonStruct) Scan(src any) error { switch src := src.(type) { case string: return json.Unmarshal([]byte(src), j) default: return errors.New("unexpected type") } } -
保存はdriver.Valuerで type Value any type Valuer interface { Value() (Value,
error) } type Content struct { ID int64 `db:"id"` ChaosJson *JsonStruct `db:"chaos_json"` } type JsonStruct struct { Name string `json:"name"` } func (o *JsonStruct) Value() (driver.Value, error) { return json.Marshal(o) } database/sql/driver -
PHP側でJSONカラムを保存するコード • (再掲)移行前のコードはクラスほぼ無し • 全ては連想配列 • 組み込みのjson_encode関数により連想配列をjson文字列に変換 $chaos_json = ['name'
=> 'hoge']; $chaos_json_str = json_encode($chaos_json); // {"name": "hoge"} $pdo = new PDO('dsn'); $stmt = $pdo->prepare('INSERT INTO contents (`id`, `chaos_json`) VALUES (?, ?)'); $stmt->execute([$id, $chaos_json_str]); -
PHP側でJSONカラムを保存するコード $chaos_json = []; $chaos_json_str = json_encode($chaos_json); // [] $pdo
= new PDO('dsn'); $stmt = $pdo->prepare('INSERT INTO contents (`id`, `chaos_json`) VALUES (?, ?)'); $stmt->execute([$id, $chaos_json_str]); • 空の配列が与えられてしまうと文字列の [] になる! -
Scanで腐敗防止 func (j *JsonStruct) Scan(src any) error { switch src
:= src.(type) { case string: // 混沌を感じ始めるがScanを拡張すれば根元で腐敗防止できる if src == "[]" { return nil } return json.Unmarshal([]byte(src), j) } } -
• JSON内にnumberまたはstringを取り うるフィールドがいる • boolで扱いたいフィールドがstringで 保存されている • 微妙にRFC3339じゃない時刻フォー マットが紛れている •
etc… • とはいえ全てScanやUnmarshalJSON などに閉じ込められた🎉 その他にも「創業以来の秘伝のタレ」が故の苦しみが type NumberOrString string func (s *NumberOrString) UnmarshalJSON(src []byte) error { if err := json.Unmarshal(src, s); err != nil { // intで読み取ってstring変換 // ... } return nil } type ChaosTime time.Time func (c *ChaosTime) Scan(src interface{}) error { // ... t, err = time.Parse(time.RFC3339, srcString) if err != nil { t, err = time.Parse( "2006-01-02T15:04:05Z0700", srcString, ) } // ... } -
• 採用力UP! ◦ この半年でサーバーサイドが10人→15人 • ポテンシャルの高い若手層をGopherとして育てる体制が回り始める ◦ 例: 社内勉強会「GoStudy」で標準パッケージのコードリーディング ◦
tenntenn Conference 2022でも事例として紹介されました! 採用面で良かったこと https://tenn.in/codereading -
• 持ち回りでファシリテーターが目的と対象 範囲を事前に決める • 当日Zoomで集まる • Slackにわいわいスレを立てる • 前半30分、各々がもくもくリーディングを しつつSlackでわいわいする
• 後半30分、スレの内容などなどを元にZoom で盛り上がる 「GoStudy」でのコードリーディング会