CircleCI_Serverの利用状況を可視化した話 / CircleCI Server Visualization of usage status

Transcript

1. CircleCI Serverの 利用状況を可視化した話 CircleCI ユーザーコミュニティミートアップ #6

2. 自己紹介
 Tanaka Tomohide
 • twitter: @dehio3
 • blog:https://www.dehio3.com/
 • 音響屋→インフラエンジニア


   • CircleCI運用歴：10ヶ月
 2

3. はじめに 3

4. 注意
 Workflow、OrbsなどCircle機能の話は
 一切出ません！！
 （そもそもオンプレはOrbs対応してない）
 4

5. CircleCI Serverの 利用状況を可視化した話

6. CircleCI Serverとは
 • オンプレミス版のCircleCI
 • AWS上で利用可能
 • 構築用のTerraformが提供
 ◦ https://github.com/circleci/enterprise-setup

   6

7. 可視化の背景 7

8. 顧客からこんな依頼が
 「チーム毎での利用比率を取れない？」
 8

9. なぜ？
 • ライセンス費は年払い
 • ユーザー数分ライセンス費がかかる
 • 利用してるチーム毎に予算を振り分けたい
 9

10. こんなものを作った 10

11. CircleCIコスト按分ダッシュボード
 11

12. 構成 12

13. lambda + S3 + Athena + Redash
 13

14. ポイント
 • APIを利用し日次でビルド情報を収集
 • AthenaでJSONデータをテーブル化
 • Redashにてテーブルデータを可視化
 14

15. ポイント
 • APIを利用し日次でビルド情報を収集
 • AthenaでJSONデータをテーブル化
 • Redashにてテーブルデータを可視化
 15

16. APIの選択 / resent-builds
 API実行時から指定のビルド情報を取得
 
 
 
 
 
 16

    https://circleci.com/docs/api/#recent-builds-across-all-projects

17. APIの選択 / limitパラメータ
 • マニュアルでは「Maixmum 100」とあるがオンプレ は制限なし？
 • limitを大きめの5000にして、取りこぼしのないよう にビルド情報を取得


    17

18. ビルド日時の判断
 • ビルド情報を集計する時に日付の判断が必要
 • 「queued_at」からビルドの実施日を判断
 • 実施日毎でJSONファイルを作成
 "queued_at" : "2013-02-12T21:33:30Z"

    // time build was queued
 "start_time" : "2013-02-12T21:33:38Z", // time build started
 "stop_time" : "2013-02-12T21:34:01Z", // time build finished
 18

19. JSONファイルの管理
 作成したJSONファイルはS3で管理
 19

20. ポイント
 • APIを利用し日次でビルド情報を収集
 • AthenaでJSONデータをテーブル化
 • Redashにてテーブルデータを可視化
 20

21. JSON用ライブラリでのテーブル作成
 CREATE EXTERNAL TABLE circleci_buids_data ( username string, // GitHubのorganization

    build_url string, status string, // ビルドのステータス queued_at timestamp, start_time timestamp, stop_time timestamp, build_time_millis int // ビルド走行時間 ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://<バケット名>/' 21

22. そのままテーブルを参照するとエラー
 日付の取得でERRORが発生する
 Error running query: HIVE_BAD_DATA: Error parsing field value

    '2019-04-11T14:45:00.417Z' for field 3: Timestamp format must be yyyy-mm-dd hh:mm:ss[.fffffffff] 22

23. テーブル作成時はstring型
 ”Athena は、Java の TIMESTAMP 形式「YYYY-MM-DD HH:MM:SS.fffffffff」 (小数点以下 9 桁)

    を必要とします。
 データが必須の TIMESTAMP 形式でない場合は、列を STRING として定義し、次に Presto の日付と時刻の関数を使用してフィー ルドを DATE または TIMESTAMP としてクエリ内に読み取りま す。”
 https://aws.amazon.com/jp/premiumsupport/knowledge-center/query-table-athena- timestamp-empty/ 23

24. 最終的なテーブル作成クエリ
 CREATE EXTERNAL TABLE circleci_buids_data ( username string, // GitHubのorganization

    build_url string, status string, // ビルドのステータス queued_at string, start_time string, stop_time string, build_time_millis int // ビルド走行時間 ) ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe' LOCATION 's3://<バケット名>/' 24

25. ポイント
 • APIを利用し日次でビルド情報を収集
 • AthenaでJSONデータをテーブル化
 • Redashにてテーブルデータを可視化
 25

26. string型をtimestamp型に変換
 “注意: データが ISO 8601 形式である場合は、操作を進める前に from_iso8601_timestamp() 関数を使用してデータを TIMESTAMP に変換してください。”


    https://aws.amazon.com/jp/premiumsupport/knowledge-center/query-table-athena- timestamp-empty/ 26

27. string型をtimestamp型に変換
 from_iso8601_timestamp関数を使用して、参照時にtimestamp型に 変換
 
SELECT queued_at, typeof(queued_at) as "type", from_iso8601_timestamp(queued_at) as

    "queued_at timestamp", typeof(from_iso8601_timestamp(queued_at)) as "type" FROM circleci_buids_data; 27

28. Redash上でのクエリ
 28 https://github.com/kakakakakku/redash-hands-on

29. CircleCIコスト按分ダッシュボード
 29

30. こんなデータも可視化 30

31. 日毎のOrganization別ビルド数
 31

32. 曜日別、時間帯別ビルド数
 32

33. ビルドステータス推移(success以外)
 33

34. まとめ 34

35. まとめ
 35 • APIを使って簡単にビルド情報が取れる
 • AthenaとBIツールでJSONデータを簡単に可視化 できる
 • ビルド状況の可視化する事で、チームの活動状 況を把握する事ができる


36. Thank you!! 36