C++とcurlでHTTP通信処理作ってみた

Transcript

1. C++とCURLでHTTP通信処 理作ってみた サポーターズ勉強会
2. 開発の経緯
3. 開発の経緯 ファイルDLシステムの変遷 (初代) HTTP ղౚ HTTP ղౚ メインスレッド
4. 補足 マルチスレッドプログラミング？ ▸ スレッド = プログラム実行の主体 ▸ シングルスレッド = 処理を1つずつ逐次実行 ▸ マルチスレッド = スレッド毎に処理を並列実行
5. 開発の経緯 ファイルDLシステムの変遷 (二代目) HTTP ղౚ HTTP メインスレッド 解凍もスレッド化
6. 補足 マルチスレッドの利点/欠点 ▸ 【利点】 メインスレッドの処理を止めずに別の処理を実行できる マルチコアを活用してパフォーマンス向上 ▸ 【欠点】 スレッド間の同期/排他制御が必要 馴染みのない人が多い
7. 補足 マルチスレッドのよくある不具合 ▸ デッドロック = ロック解除を互いに待ち合う ▸ レースコンディション = 競合。各スレッドの実行順によっ て結果が変化する ▸ スタベーション = ロック解放待ちが長すぎて処理が進まな い
8. 開発の経緯 今回の構想(三代目) HTTP ղౚ HTTP ղౚ HTTP ղౚ メインスレッド 並列DL
9. 補足 マルチスレッドの実装で心がけたいこと ▸ Simple is Best ▸ スレッド毎の独立性を高める ▸ 性能を測定しチューニングできるようにする
10. テキスト 今回の構想を端的に ▸ メイン「Aは◯◯、Bは□□、Cは☓☓からDLして解凍、終 わったら教えて」 ▸ A「わかりました」 ▸ B「わかりました」 ▸ C「わかりました」 ▸ といった感じの実装をする
11. 環境準備
12. 環境準備 curlの導入 (Mac) ▸ Mac, Xcode使用 ▸ コンソールアプリケーション ▸ ライブラリにlibcurlを追加してやれば完了 ▸ brew install curl でも可 (コンパイル時に -lcurl)
13. 補足 curl解説 - 初期化
14. 補足 curl解説 - 通信実行
15. 補足 curl解説 - コールバック関数
16. コード解説
17. XcodeͰ࣮ࡍʹίʔυݟͤΔ ɾcurlMain
18. パフォーマンス
19. パフォーマンス スレッド数と処理時間 3→6͸ॱ౰ͳ৳ͼ͚ͩͲɺ6→9͸৳ͼ೰Έ ҆ఆ࿏ઢͳΒ3ɺߴ଎࿏ઢͳΒ5͕ྑ͛͞
20. 発生した問題
21. 発生した問題 OpenSSLのバージョン ▸ https://curl.haxx.se/libcurl/c/threadsafe.html ▸ OpenSSL 1.1.0 "can be safely used in multi-threaded applications provided that support for the underlying OS threading API is built-in.” ▸ libcurlに含まれているOpenSSLのバージョンが低いと、稀 に curl_easy_perform() でアクセス違反で落ちる
22. まとめ
23. まとめ まとめ ▸ libcurl便利 ▸ ハンドラ作っていくつか設定すれば通信できる ▸ API叩いたり、DLしたり活用いろいろ ▸ unzip.h と組み合わせて圧縮＆解凍とか ▸ スレッドの取り扱いには注意 ▸ 設計はシンプルに