#35 re:Invent 2020 振り返り

2020-12-22

Abstract

re:Invent 2020を自分たちなりに振り返ったよ。キャッチアップの量が多すぎて、ざっくりとしか話せなかったよ。詳細はまたの機会に配信とかしたいと思うよ。

Date
2020-12-22 10:03

Show Notes

re:Invent 2020 一段落

  • 11/30 - 12/18 まる3週間のセッションが終わった。
    • 発表されたアップデート数: 180（昨年は87）
    • Key note: 5セッション
    • Leadership Session: 多分18セッション
    • Breakout Session: 500くらい
  • ログインするとアーカイブが視聴できる。
    • かなり多くのセッションで正確な英語字幕ついている。
  • 2021/1/12-14の3日間, 約200セッションまだあるよ。

ざっとした所感

  • 3週間長いようで長かった。密度も濃い。
  • アーカイブ版は英語字幕が正確で助かる。
  • Keynoteで新機能だけを追うのではなく、リーダーシップセッションやBreakout Sessionで有益な活用事例をちゃんと追いたい。
  • セッション以外のコンテンツ（LearningやConnection）は全然参加できなかった。
  • お祭り感すごい。高揚感ある。いつか現地で見たくなった。
  • データ活用、AI/MLは今年も盛り上がっていた。Redshiftもアップデートが多かったみたい。
    • まったく新しいコンセプトの機能というより、ML業界全体で必要とされているものをAWSやSageMakerに持ってきたという印象。
    • 特定の業界（コンタクトセンター、製造業、ヘルスケア）に特化したサービス展開をしているのも印象的だった。

あほみたいな所感ばかりだけど。

今からキャッチアップするための参考リンク

re:Invent Keynoteざっとおさらい

Keynoteはリアルタイムで更新されていたLiveblogというのが概要としてまとまっている。

re:Invent 2020 Liveblog: Andy Jassy Keynote

re:Invent 2020 Liveblog: Partner Keynote

re:Invent 2020 Liveblog: Machine Learning Keynote

  • MLをどう活用するか、とかTenetという言葉（主義とか信条とかいう意味。スローガンみたいなもの）を使って語っていた。
  • このTenetに紐付ける形で新機能の発表が結構あった。

以下、参考リンク。

re:Invent 2020 Liveblog: Infrastructure Keynote

  • 新機能の発表というよりはAWSのインフラがどう活用されている、どう支えているかなどの話が多かった
  • 最初のコンサート中に「ギターが2つあってMulti-AZですね」みたいなジョークがblogに書かれていた。お祭り感で浮かれている。
    Multi-AZ Guitars

re:Invent 2020 Liveblog: Werner Vogels Keynote

個人的に気になったアップデートなど（小杉）

マネジメントコンソールのアップデート

マネコンが変わった

つまり…GCPのコンソールみたいになった。Cloud Shellでは以下の違いはあるが。

  • GCPはリージョンを気にせず利用できる。AWS Cloud Shellはリージョンごとに永続化ディスクが異なる。
    • ユーザの場所からよしなにプロビジョニングされる（なぜか台湾が多いけど）
    • GCPは5GBの永続化ストレージ。AWSは1GB。
  • GCPはCloud Shell Editorも提供されている
  • スペック（どちらも実際に起動してコマンドで確認したもの。公式には不明）
    • GCP: 2vCPU, 8GBメモリだった（過去には1vCPU, 1.7GBでブーストモードもあるという記事もあったがよく分からず）
    • AWS: 2vCPU, 4GBメモリだった

ECR Public Resistory

  • 以前からDockerHubの制限に伴ってアナウンスされていたものの一般公開。
    • 今までDockerイメージのパブリックレジストリはほぼDocker Hub一択だったけど、ここにAWSやGitHubが参入。
  • イメージのホスト（イメージ開発者側）
    • 1GBにつき$0.10/月
    • 無料枠として月$50
  • イメージのpull（イメージ利用側）
    • Anonymousユーザ
      • 月に500GB転送までOK。超えると何らかの制限（どんな制限かは発表なし）
      • アクセス元のIPアドレスで判別というはDocker Hubと同じ
    • AWS認証済みユーザ
      • 月に5TB転送まで無料でOK。それ以上は$0.09/GB。
      • AWSリージョン内からならすべて無料。

AWS Fault Injection Simulator (coming in 2021)

  • AWS上でカオスエンジニアリング
  • 2021年に提供開始予定
  • カオスエンジニアリングの停止やロールバックなど制御するための機能もあり。
  • ドキュメントにはAmazon EC2, Amazon EKS, Amazon ECS, and Amazon RDSとが記載されていたが、どのコンポーネントが対応されるかは不明。

カオスエンジニアリングといえばNetflix。以前紹介した Chaos MonkeyなどのOSSもある。

AWS BatchのFargate対応

  • 今までのはECS on EC2だったが、Fargateに対応。
  • これによってゼロスケール、コールドスタートへの対応が容易になりサーバレス感。
  • FargateはGPU使えないので、Deep Learningの学習用途では変わらずSageMaker一択。

SaaS Boost

Cloud Audit Academy

re:Growthのセキュリティセッションで知った。

ML Keynote関連

Amazon SageMaker Pipelines

正確にはML Keynoteでの発表ではないが。

  • SageMakerのパイプラインを組むには今まではStep Functionsを使っていたのをSageMaker Studioと統合する形で使えるようになった。
    • それ以下でもそれ以上でもないように見える…
  • SageMaker samplesにも早速サンプルnotebookが提供されている。
    Step Functionsでも同じデータセットを使ったサンプルが提供されているので比較しやすい。

Amazon SageMaker Simplifies Training Deep Learning Models With Billions of Parameters

  • Distributed TrainingをSageMaker上で簡単に行えるようにする
  • 個別のDLフレームワークでも簡単にできるようにはなっているはずなので、恩恵が小さいような気もしている。
  • 異なるDLフレームワークでも同じお作法で並列化できるならうれしいかも？
  • Keynoteを通して時間削減の話をたくさんしていたのでその一環か。
    • Data Wranglerとかで作業効率化
    • Distributed Trainingで処理効率化

Amazon SageMaker Clarify

  • Bias Detection across the end-to-end ML workflow
    • バイアスはMLワークフローの色んな所で入り込む。それを検知する。
    • 例えば男女比率や年齢の分布が偏っている、など学習前に検出できるものもある。
    • 学習後の推論結果に対するバイアス（特定のグループに特定の結果を返してしまう、とか）も検出。
    • ClarifyとSageMaker Model Monitorが統合されているのでアラートもあげやすい。
  • 公式ブログ: New – Amazon SageMaker Clarify Detects Bias and Increases the Transparency of Machine Learning Models

Deep Profiling for SageMaker Debugger

Amazon SageMaker Edge Manager

Amazon Lookout for Metrics

  • Lookout for Equipmentというのが製造業向けの異常検知として提供開始されたが、これを汎用化したもの。
  • 購買トランザクション、顧客獲得率など時系列データ
  • ベストなAnomaly Detectアルゴリズムを自動で選定してくれる
  • Amazon ConsoleやAPIからダッシュボードにアクセス可能

Amazon HealthLake

  • ヘルスケアのデータは複雑だから分析をサポート
    • 電子カルテみたいなのをイメージすると分かりやすい。いろんなフォーマット, 型など。
  • Store, Transform, analyze
  • ペタバイトスケーリング
  • GCPでもヘルスケアの分析サポートサービス出てたはず
  • 公式ブログ: Making sense of your health data with Amazon HealthLake

Amazon SageMaker JumpStart

  • AWSが事前に用意したモデルのコレクションやMLワークフローをそのまま or カスタマイズして使える。
  • SageMaker Studioから使う。
    • なんか今年のアップデートは特にStudioを意識したものが多い
  • 単にnotebookが用意されているだけではなく、Cloud Formationで必要なリソースをデプロイしてくれる。
    • GCPの似たサービスでは AI Hubというのがある。

個人的に気になったアップデートなど（加藤）

サーバレス関連のアップデート内容

  • Lambdaがコンテナイメージに対応

    • 今までzipでデプロイしていたのが、ECRのurlでデプロイできるイメージ
    • /tmp以外はRead-Onlyなどの要件あり
    • CDKにも対応

  • Lambda Extentions

    • Lambda Extentions APIを使って実装したPGをLambda Layerとしてデプロイ
    • モニタリングツールなどの外部ツールをLambda実行環境内部に統合
    • Lambdaの実行ステップ

    kato/Untitled.png

    • Extentionsが作用できる部分（緑色）

    kato/Untitled%201.png

  • Amazon CloudWatch Lambda Insights

    • Lambdaのパフォーマンスメトリクスとか使える

  • イベントソースにApache KafkaとMQが追加

    • Apache Kafka：メッセージングサービス
    • MQ：同じく。

  • AWS Signerを使ってLambdaのコード署名が可能に

    • コードが変更されてないことの確認
    • 自分でhashとかとらなくていい

  • Lambdaの課金単位が100msから1msに

  • Lambdaのメモリ上限が10GBに、vCPUの上限が6に拡張

  • Runtime Interface Clients

    Lambdaのパッケージフォーマットとしてコンテナイメージを利用する場合、コンテナイメージはLambdaのランタイムAPIと連携して動作する必要があります。このランタイムAPIとの連携を容易にするため、AWSからAWS Lambda Runtime Interface Clients (RIC)というツールが提供されます。

  • Runtime Interface Emulator

    コンテナイメージのサポートに伴い、AWS Lambda Runtime Interface Emulator (RIE)というツールの提供が開始されます。RIEはローカル環境で実行可能な軽量ウェブサーバーで、受け付けたHTTPリクエストをLambdaのイベントデータと同じJSON形式に変換する機能を持ちます。RIEを導入したコンテナイメージをビルドすることで、ローカル環境でも簡単にLambda用コンテナイメージのテストが可能です。

  • SNSのFIFOトピックサポート

  • SQSのFIFOキュー ハイスループットモード（プレビュー）

    kato/Untitled%202.png

  • SFのExpressモードの同期呼び出し

    kato/Untitled%203.png

  • AWS Amplify Admin UI

  • AWS Proton

  • AWS SaaS Boost

参考

告知

近日、podcast名を変更すると思います。

mukiudo
mukiudo
Software Engineer