メールディーラー、長い長い戦いの歴史

by knakao1979

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. Mail Dealer(MD) とは 2002年頃にはクラウドサービスとして提供されていた。 • 2006年にはクラウドコンピューティングという言葉が普及し、クラウドコンピューティング上で提供されるソフトウェアがSaaSと呼ばれるようになった。ウィキペディア：SaaS(https://ja.wikipedia.org/wiki/SaaS) • 「クラウドコンピューティング」の用語を最初に使用したのは、2006年 Google CEOのエリック・シュミットによる発言だとされ、ウィキペディア：クラウドコンピューティング (https://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%A9%E3%82%A6%E3%83%89%E3%82%B3%E3%83%B3%E3%83%94%E3%83%A5%E3%83%BC%E3%83%86%E3%82%A3%E3%83%B3%E3%82%B0) • この「ASP」という用語自体は1998年ころから用いられるようになった比較的新しい用語ではあるが、ウィキペディア：アプリケーションサービスプロバイダ (https://ja.wikipedia.org/wiki/%E3%82%A2%E3%83%97%E3%83%AA%E3%82%B1%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%82%B5%E3%83%BC%E3%83%93%E3%82%B9%E3%83%97%E3%83%AD%E3%83%90%E3%82%A4 %E3%83%80) 4

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. サーバのログを調査 •PHPのログに不穏な文字列発見 [16-Apr-2019 11:40:59 Asia/Tokyo] PHP Fatal error: Allowed memory size of *** bytes exhausted (tried to allocate *** bytes) in /usr/local/programA.php on line 1879 [16-Apr-2019 15:45:10 Asia/Tokyo] PHP Fatal error: Allowed memory size of *** bytes exhausted (tried to allocate *** bytes) in /usr/local/programB.php on line 1245

Slide 10

Slide 10 text

Slide 11

Slide 11 text

Slide 12

Slide 12 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. そのあとやったこと •プログラムの通り道にメモリの利用状況をログに吐き出すよう、ひたすらに埋め込む。 some process; err(“memory_get_usage : ” . memory_get_usage()); some process; err(“memory_get_usage : ” . memory_get_usage()); some process; err(“memory_get_usage : ” . memory_get_usage());

Slide 13

Slide 13 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. メモリが激増している場所を発見 04/16 18:48[error] [programZ:14 > db.php:1257] memory_get_usage : 7891176 04/16 18:48[error] [programZ:14 > db.php:1259] memory_get_usage : 7891176 04/16 18:48[error] [programZ:14 > db.php:1261] memory_get_usage : 7891208 04/16 18:48[error] [programZ:14 > db.php:1263] memory_get_usage : 58113328 04/16 18:48[error] [programZ:14 > db.php:1259] memory_get_usage : 58113704 04/16 18:48[error] [programZ:14 > db.php:1261] memory_get_usage : 58113736

Slide 14

Slide 14 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 原因の行を特定 function getMetaInfoHash($aTable) { # 対象テーブルのメタ情報を取得 $metaHash = Array(); $sql = "select * from $aTable where false"; $result = @pg_query($this->mCon, $sql); for ($i = 0; pg_num_fields($result) > $i; $i++) { $lName = pg_field_name($result, $i); err("memory_get_usage : " . memory_get_usage()); $lNum = pg_field_type($result, $i); err("memory_get_usage : " . memory_get_usage()); $metaHash[$lName] = $lNum; } return $metaHash; } ここでメモリ使用量が激増

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. pg_field_type()部分のソース •１つのテーブルのカラムの情報を得たいだけなのに、 DB内のすべてのカラムを取得していた。 if ((result = PQexec(pgsql, "select oid,typname from pg_type")) == NULL || PQresultStatus(result) != PGRES_TUPLES_OK) { if (result) { PQclear(result); } smart_str_free(&str); return estrndup("", sizeof("") - 1); }

Slide 19

Slide 19 text

Slide 20

Slide 20 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. function original_get_field_types($aTable) { $hash = []; $sql = "select"; $sql .= " at.attname,"; $sql .= " format_type(at.atttypid, at.atttypmod)"; $sql .= " from"; $sql .= " pg_attribute as at"; $sql .= " left join pg_type as tp on (at.atttypid = tp.oid)"; $sql .= " where"; $sql .= " at.attnum > 0 and"; $sql .= " at.attrelid = (select oid from pg_class where relname = '{$aTable}')"; $sql .= " order by"; $sql .= " at.attnum"; $result = @pg_query($this->mCon, $sql); for ($i = 0; $i < @pg_num_rows($result); $i++) { $row = @pg_fetch_object($result, $i); $hash[$row->attname] = $row->format_type; } return $hash; } pg_field_type()を自作で置き換え

Slide 21

Slide 21 text

Slide 22

Slide 22 text

Slide 23

Slide 23 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. PHPの実行ファイルがnot found •ある日検出したPHPのエラーファイルが見つからない…（#^ω^） [03-Jul-2018 12:24:01 Asia/Tokyo] PHP Fatal error: Class ‘Parser’ not found in /usr/local/**/maildealer.php on line 1067

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. バージョンアップスクリプトを調査 • 緑の字は実際に動いているプログラム。旧プログラムをmvでいったん退避させてから新プログラムをcpで配置している。 /bin/mv -f {$_INSTALL_PATH}/phpDir {$_INSTALL_PATH}/phpDir_{$date} /bin/mv -f {$_INSTALL_PATH}/rakusLibDir {$_INSTALL_PATH}/rakusLibDir_{$date} /bin/mv -f {$_INSTALL_PATH}/bin {$_INSTALL_PATH}/bin_{$date} /bin/cp -ar ./phpDir {$_INSTALL_PATH}/phpDir /bin/cp -ar ./rakusLibDir {$_INSTALL_PATH}/rakusLibDir /bin/cp -ar ./bin {$_INSTALL_PATH}/bin

Slide 27

Slide 27 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 原因 •そらそうだ。 •この仕組みを変更することにした。 /bin/mv -f {$_INSTALL_PATH}/phpDir {$_INSTALL_PATH}/phpDir_{$date} /bin/mv -f {$_INSTALL_PATH}/rakusLibDir {$_INSTALL_PATH}/rakusLibDir_{$date} /bin/mv -f {$_INSTALL_PATH}/bin {$_INSTALL_PATH}/bin_{$date} ※ここのタイミングでアクセスがあるとnot foundが発生する☆彡 /bin/cp -ar ./phpDir {$_INSTALL_PATH}/phpDir /bin/cp -ar ./rakusLibDir {$_INSTALL_PATH}/rakusLibDir /bin/cp -ar ./bin {$_INSTALL_PATH}/bin

Slide 28

Slide 28 text

Slide 29

Slide 29 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 図解 1. 新しいプログラム「phpDir_new」を配置する。 2. デプロイのときには、旧プログラム(phpDir_old)に向いていたシンボリックリンクを新プログラム(phpDir_new)に向くよう変更する。 3. これにより、プログラムが存在しない瞬間がなくなる。 /usr/local/phpDir phpDir_old phpDir_new シンボリックリンク

Slide 30

Slide 30 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. しかし… •またもや発生。シンボリックリンクのリンク先を変更するように修正したのに… •再度原因の調査を開始。 [01-Aug-2018 15:00:01 Asia/Tokyo] PHP Fatal error: Class ‘Parser’ not found in /usr/local/**/maildealer.php on line 1067

Slide 31

Slide 31 text

Slide 32

Slide 32 text

Slide 33

Slide 33 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 動作確認 •リンク先の変更時の挙動をstraceで確認する。 > ln -s ./dir1 slDir > strace ln -nfs ./dir2 slDir symlink("./dir2", "slDir") = -1 EEXIST (File exists) unlink("slDir") = 0 symlink("./dir2", "slDir") = 0 •straceの実行結果（抜粋）

Slide 34

Slide 34 text

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. まとめ古くから稼働しているサービス内で今まで問題のない部分であっても急に問題が表面化することがある。「今までずっと大丈夫だったから」という固定観念にとらわれず調査することが大事。今、新たに実装するものも「長い年月が経ったときにも問題ないか」という視点が大事。とはいえ、先を見据えすぎてこってりしすぎたり複雑になるのは避けたい。バランス大事。 40

Slide 41

Slide 41 text

#RAKUSMeetup ©2019 RAKUS Co., Ltd. 出典 •PHP5からPHP7にしたらいろいろ変わってた https://qiita.com/hirohiro77/items/8dc2adcdfac6425c9d1e •@DQNEO https://twitter.com/dqneo/status/619800551782379520 •アトミックなシンボリックリンク更新 https://qiita.com/dalance/items/d2d2feb720172036fd22

Slide 42

Slide 42 text