今日はデブサミに少し顔を出して2セッションだけ聞いてきた!
今回はエンタープライズ感が強かったから Spark の話を聞くのが最大の目的だった.
Developers Summit 2015 Summer [Enterprise] #natsumi
セッションメモ
B-5 : Apache SparkとIBMの取り組み、そしてストリーム・コンピューティングのポイント
Spark 概要
- in-memory
- キャッシュを有効活用することで MapReduce と比較して2回目以降の処理が早くなる点が特徴的
- 明示的な DiskIO と 暗黙的な DiskIO が発生する
- 遅延評価で実行する
- HDFS だけではなく任意のデータストレージに対してスタンドアロンで利用できる
- Spark SQL / Spark Streaming / MLlib / GraphX
- 従来のバッチ処理と比較するとマイクロバッチを繰り返すことによってストリーム処理を実現する
- ラムダアーキテクチャだと複数のテクノロジーが混在して習得コストが高くなる
- Data at Rest / Data in Motion
- フィルタリング処理 / スライディング・ウィンドウ処理(区間内の移動平均値を処理したり)
Spark at IBM
Livesheets (NITRO) の動画が紹介されてて,ワークシート上でグラフが作られていく(裏では Spark SQL が流れている)のは凄かった.YouTube を埋め込んでおく.
あと途中で IBM の事例紹介をしてたけど,これは Spark の事例ではなくて InfoSphere Streams の事例だった.
- Spark Technology Center | IBM »
- Apache Spark Starter - IBM Bluemix
- SystemML を Spark に OSS として寄贈した
- SystemML - IBM
- 今後 SparkR や MLlib に統合していく
- 既に国内外のエンタープライズ案件でストリーミング処理を実現している
- 今後は Spark や Spark Streaming を活用した案件が増えてくる
- MOOC で講座を提供
- Big Data University で講座を提供
- ibm-et/spark-kernel · GitHub
B-6 : DevOpsって要は何なのか? ~ 海外事例から紐解くDevOpsの本質
プレゼンター
個人的に CA Technologies って言うと Arcserve の印象が強いから,使ってた頃を思い出して懐かしくなった.
- Rational -> IBM -> CA Technologies
DevOps とは
- DevOps を実現すると1日に10回以上のペースでリリースが可能になる
- 「The DevOps 逆転だ!究極の継続的デリバリー」は DevOps のバイブル
- 当然ながら1日に10回以上デプロイすることが目的ではない
- 競争優位性を維持するため / お客様満足度を高めるため
- 本質はビジネスのスピードにデリバリーのスピードを合わせること
- そこで DevOps
- DevOps を実現するために「ツール / プロセス / 組織文化」が重要になってくる
- Systems of Record (SoR) と Systems of Engagement (SoE)
- 「キャズム」も読みましょう
- 作者: ジーンキム,ケビンベア,ジョージスパッフォード
- 出版社/メーカー: 日経BP社
- 発売日: 2014/08/12
- メディア: Kindle版
- この商品を含むブログ (1件) を見る
- 作者: ジェフリー・ムーア,川又政治
- 出版社/メーカー: 翔泳社
- 発売日: 2002/01/23
- メディア: 単行本
- 購入: 21人 クリック: 373回
- この商品を含むブログ (180件) を見る
海外事例
dev 環境と stg 環境のデプロイも含めて30000回って言ってたけど,含めて良いんだっけ?と思った.
- Union Bank の事例
- ヨーロッパの銀行の例
- 月に30000回デプロイできるようになった
ブース
少しだけブースにも顔を出してグッズをもらってきた.
IBM のブースで「Rational 製品をご存知ですか?」って聞かれたけど,そのまま話を聞く自信が無かったから「2年前まで IBMer で Rational 製品もよく使ってましたよ」って伝えたら「うああ」ってなってたwww