Slide 55
Slide 55 text
Dataproc
[4/13] Dataproc on GKE の GA されました。これにより、GKE クラスタで Dataproc ジョブ API を使用してビッグデータ
アプリケーションを実行できます。
[4/11] dataproc:dataproc.performance.metrics.listener.enabled クラスタ プロパティ は デフォルト で有効になって
おり、すべてのマスターノードのポート 8791 でリッスンして、パフォーマンス関連のテレメトリ Spark メトリックを抽出しま
す。メトリックは Dataproc サービスにパブリッシュされ、より適切なデフォルトを設定してサービスを改善するために使用
されます。この機能を無効化するには、
Dataproc クラスタを作成するときに
dataproc:dataproc.performance.metrics.listener.enabled=false を設定します。
[4/11] Dataproc イメージの新しい サブマイナー バージョン:
● 1.5.62-debian10, 1.5.62-ubuntu18, 1.5.62-rocky8
● 2.0.36-debian10, 2.0.36-ubuntu18, 2.0.36-rocky8
[4/11] Dataproc Serverless for Spark は、ランタイム バージョン 1.0.9 を使用するようになりました。
[4/11] Dataproc オートスケーラーがクラスタを一度に 1,000 を超えるセカンダリ ワーカーノードをスケールダウンしよう
とすることがある問題を修正しました。これにより、オート
スケーラーは一度に最大 1,000 ノードまでスケールダウンする
ようになります。以前にオート スケーラーが一度に 1,000 ノードを超えてスケールダウンし
ていたケースでは、ノードを
最大 1,000 ノードまでスケールダウンし、このイベントを記録するログがオート
スケーラー ログに書き込まれます。