Developers Summit 2015 Summer で Spark の話を聞いてきた

今日はデブサミに少し顔を出して2セッションだけ聞いてきた!

今回はエンタープライズ感が強かったから Spark の話を聞くのが最大の目的だった.

Developers Summit 2015 Summer [Enterprise] #natsumi

セッションメモ

B-5 : Apache SparkとIBMの取り組み、そしてストリーム・コンピューティングのポイント

Spark 概要

  • in-memory
  • キャッシュを有効活用することで MapReduce と比較して2回目以降の処理が早くなる点が特徴的
  • 明示的な DiskIO と 暗黙的な DiskIO が発生する
  • 遅延評価で実行する
  • HDFS だけではなく任意のデータストレージに対してスタンドアロンで利用できる
  • Spark SQL / Spark Streaming / MLlib / GraphX
  • 従来のバッチ処理と比較するとマイクロバッチを繰り返すことによってストリーム処理を実現する
  • ラムダアーキテクチャだと複数のテクノロジーが混在して習得コストが高くなる
  • Data at Rest / Data in Motion
  • フィルタリング処理 / スライディング・ウィンドウ処理(区間内の移動平均値を処理したり)

Spark at IBM

Livesheets (NITRO) の動画が紹介されてて,ワークシート上でグラフが作られていく(裏では Spark SQL が流れている)のは凄かった.YouTube を埋め込んでおく.

あと途中で IBM の事例紹介をしてたけど,これは Spark の事例ではなくて InfoSphere Streams の事例だった.

B-6 : DevOpsって要は何なのか? ~ 海外事例から紐解くDevOpsの本質

プレゼンター

個人的に CA Technologies って言うと Arcserve の印象が強いから,使ってた頃を思い出して懐かしくなった.

DevOps とは

  • DevOps を実現すると1日に10回以上のペースでリリースが可能になる
  • 「The DevOps 逆転だ!究極の継続的デリバリー」は DevOps のバイブル
  • 当然ながら1日に10回以上デプロイすることが目的ではない
    • 競争優位性を維持するため / お客様満足度を高めるため
    • 本質はビジネスのスピードにデリバリーのスピードを合わせること
    • そこで DevOps
  • DevOps を実現するために「ツール / プロセス / 組織文化」が重要になってくる
  • Systems of Record (SoR) と Systems of Engagement (SoE)
  • キャズム」も読みましょう

The DevOps 逆転だ!究極の継続的デリバリー

The DevOps 逆転だ!究極の継続的デリバリー

キャズム

キャズム

海外事例

dev 環境と stg 環境のデプロイも含めて30000回って言ってたけど,含めて良いんだっけ?と思った.

  • Union Bank の事例
  • ヨーロッパの銀行の例
    • 月に30000回デプロイできるようになった

ブース

少しだけブースにも顔を出してグッズをもらってきた.

IBM のブースで「Rational 製品をご存知ですか?」って聞かれたけど,そのまま話を聞く自信が無かったから「2年前まで IBMer で Rational 製品もよく使ってましたよ」って伝えたら「うああ」ってなってたwww

f:id:kakku22:20150729203845j:plain

まとめ

エンタープライズデブサミだった.