#38 GCPでのETLいろいろ - Dataproc編

Abstract

小杉が時事ネタ + GCP Dataprocについて話したよ。駆け足でしゃべったから若干聞き苦しいかもごめんですよ。加藤は寝不足で声が暗いよ。

Date
2021-01-29 10:10

Show Notes

Parlerの続報

今回のAWSからのBANに対して、念の為補足しておくと少なくともAWSの主張としては「Parlerが暴力的なコンテンツをコントロールできなかったことによる利用規約違反」によってBANしているのであり、言語統制やなんらかの政治的な意図を伴ったBANではないということ。
それとは別に「テックジャイアントが力を持ちすぎている」ことに関する是非はずっと議論されており、これからもされると思われ。

この辺りの話については「 Off Topic」さんがとても分かりやすく話してくれているので、おすすめ。↓

AWSをElasticが名指しで非難。ElasticsearchとKibanaのライセンスを、AWSが勝手にマネージドサービスで提供できないように変更へ | Publickey

ElasticsearchとKibanaのライセンスを、商用サービス化を制限するSSPLとElastic Licenseのデュアルライセンスに変更。 背景にはAWSがElasticsearchとKibanaをマネージドサービスとして提供し続けてきたことに対する反発が。

Elastic社のCEOがAWSにブチギレながらライセンス変更のアナウンスをしたブログが こちら

パブリッククラウドベンダーがOSSにフリーライドしている問題に対する動きは前々から活発化していた。(参考: 「Redis、MongoDB、Kafkaらが相次いで商用サービスを制限するライセンス変更。AWSなどクラウドベンダによる「オープンソースのいいとこ取り」に反発 | Publickey」

SSPLとはMongoDBが2018年に作成したライセンスで

  • サービス提供する際に、サービス提供元が周辺プログラムを含めてソースコードを公開するか、ライセンス料を払うかどちらか選ぶ。
  • 他のソフトウェアに対する制限を設けているという点で OSDの9条に反しており、OSSライセンスではないという見方が一般的。

OSSコミュニティとクラウドベンダの間には色々因縁があったけど、Googleは 2019年にOSSベンダーとの戦略的提携を発表していたり、AWSも Grafanaとはパートナーシップを結んでいたり。

今回の件では、AWSは ElasticsearchとKibanaのライセンス変更前のコードからforkしたOSSを公開することで対応

2019年にAWSが公開した Open Distro for Elasticsearch(参考: 「AWSが、Elasticsearchのコードにはプロプライエタリが混在しているとして、OSSだけで構成される「Open Distro for Elasticsearch」を作成し公開 | Publickey」)とは別だけど、元にはしているらしいし、今後どうなるかは不明。

参考: AWS、商用サービス化を制限するライセンス変更に対抗し「Elasticsearch」をフォーク、独自のオープンソース版へ | Publickey

こじれている…

本ネタ

自ブログの投稿「 GCP上でのETLいろいろ」からGCP Dataproc, Data Fusionあたりまで。

mukiudo
mukiudo
Software Engineer