コンテンツ
取り除く：
Kafkaは情報システムに対して、LinkedInがビジネスパーソンに対して行うことを行います：幅広い範囲でそれらを接続し続けます。
まだ存在しないものを情熱的に信じることで、私たちはそれを創造します。存在しないものは、私たちが十分に望んでいないものです。〜フランツ・カフカ
必要性は依然として発明の母です。抜け目のないコンサルタントがかつて私に言ったように、「組織で起こる必要があるものがあれば、それは起こっている」。彼のポイントは2つありました。1）一部の人々は常に物事を成し遂げる方法を見つけます。そして、2）上級管理職、または中間管理職でさえ、自分たちの施設内で物事がどのように行われているかを正確に知らないかもしれません。
そのメタファーをデータ管理の世界全体に拡張すると、今まさに変革が起こっています。ビッグデータの生の圧力は、ストリーミングデータの軸と組み合わされて非常に大きな圧力を生み出し、レガシーシステムは完全に崩壊しないとしても、端でほつれています。それにもかかわらず、今まさに仕事をしている無数の専門家がいて、彼らはこの現実をほとんど知らない。
データを活用したデータ駆動型の企業には最前列の席があり、多くの点でこの変化を推進しています。 Yahoo!やLinkedInなどの強力な企業が、オープンソースへの莫大な寄付で企業ソフトウェア業界をどのように変えたのかを考えてみてください。Hadoop、Cassandra、そしてKafka。 。
このすべての変更の結果はどうですか？今日目撃していたのは、データ管理自体のカテゴリー的な再分類と再構築です。これは、レガシシステムが取り外されて置き換えられると言うことではありません。業界のベテランは、シカゴカブスがワールドシリーズで優勝するのと同じくらい頻繁にレガシーシステムの大規模な解散が起こることを教えてくれます。控えめに言っても、そのまれなイベントです。
実際に起こっているのは、旧世界のシステム全体にスーパーストラクチャーが構築されているということです。州間高速道路の類似性を考慮してください。州間高速道路は、対象となる都市や町よりも上にあり、人々や貨物をこれらの人口中心に送り、その中の誰でも何でも出口を提供するように設計されています。彼らは既存の道路を高速の代替道路で補強するほどには置き換えません。
これがまさにApache Kafkaが行うことです。情報システム間でのデータ移動のための高速ルートを提供します。高速道路のアナロジーに従うために、線形キューまたは古い標準のETL（extract-transform-load）を使用している企業がまだ多くあります。しかし、これらの経路には速度制限があり、多くの穴があります。さらに、メンテナンスコストは法外なことがよくあります。看板が悪い。
Kafkaは、データを配信するための代替方法を提供します。これは明らかにリアルタイムで、スケーラブルで耐久性があります。これは、Kafkaがデータ移動手段であるだけでなく、データレプリケーターでもあることを意味します。ある程度までは、分散データベーステクノロジー。 Kafkaがまだスポーツを行っていないACID準拠のデータベースの特性があるため、類推を過度に慎重にする必要があります。それでも、変化は現実のものです。
これは、情報ランドスケープにとって素晴らしいニュースです。というのも、データは国や世界を自由に移動できるようになったからです。かつては苦痛だった制約、つまりETLプロセスのバッチウィンドウのヒットは、霧が暑い太陽のまぶしさの下で空をクリアするようになるため、現在散逸しています。あるシステムから別のシステムにデータを移動することで境界線がシームレスになると、新しい機会の時代が始まります。
バグやストレスなし-あなたの人生を破壊することなく人生を変えるソフトウェアを作成するためのステップバイステップガイド
誰もソフトウェアの品質に関心がない場合、プログラミングスキルを向上させることはできません。
人類は、データの新しい未来への道のりで最も大きな摩擦になるでしょう。古い習慣は激しく死にます。 Nary a CIOは、エンタープライズシステムに大規模な変更を加えることに興奮しています。この役職に精通した上級幹部は次のように語っています。「孤独になる準備をしてください。」そのコメントの1年以内に、彼はコンサルタントでした。エンタープライズデータの著しく扱いにくい世界を管理しようとするのは簡単なことではありません。
良いニュースは、Kafkaが未来への入り口を提供することです。高性能で多面的なバスとして機能するため、レガシーシステムとその前向きなシステムとの間にブリッジを作成します。したがって、オープンな心と十分な予算でこの新しい機会を受け入れる組織は、古いものを残さずに新しい世界に足を踏み入れることができます。それは非常に大したことです。
ビジネスに
Apache Kafkaは、誰でも無料でダウンロードして使用できるオープンソーステクノロジーですが、LinkedIn向けにこのソフトウェアを作成した人々は、Confluentと呼ばれる別のエンティティを分離しました。 Clouderaと同様に、HortonworksとMapRはApache Hadoopのオープンソースプロジェクトを中心にビジネスを構築しているため、ConfluentはKafkaの収益化を目指しています。
InsideAnalysisの最近のインタビューで、Confluent CEOと共同設立者のJay Krepsは、LinkedInでその起源を説明しました。
「そこでいくつかの異なる問題を解決しようとしていました。1つは、さまざまな種類のデータを備えたこれらすべての異なるデータシステムがありました。データベースとログファイルがあり、サーバーに関するメトリックがあり、ユーザーが物をクリックすることでした。すべてのデータを大規模に取得することは非常に困難でしたが、データの力は、アプリケーション、処理、またはそれを必要とするシステムに到達できた場合にのみ存在していました。
「私たちが抱えていたもう1つの問題は、Hadoopを採用したことでした。それは私が関わっていたものです。スケーリングおよびすべてのデータを配置できる素晴らしいオフライン処理プラットフォームがありました。LinkedInでは、すべてのデータが実際に発生しましたデータの継続的な生成がありました。データからビジネスの重要な部分を実際に構築しようとしたため、常にこの不一致がありました。1日1回、おそらく夜に実行され、翌日までに結果を生成し、そして、この種の連続データ-短い相互作用時間-あなたは追いつく必要がありました。私たちはしばらくの間学界にいましたが、実際には主流ではなかった何かをすることができることを望みました座っているのではなく、生成されたデータのストリームを利用して処理します。」
まあ。これがまさに、Confluentがあらゆる形状およびサイズのエンタープライズデータで実行しようとしていることです。遊びの機会は？グリーンフィールド。率直に言って、エンタープライズソフトウェアのすべての歴史の中で、このテクノロジーのアドレス指定可能な市場は絶対に必要だと主張することができます。このテクノロジーの恩恵を受けることができない単一の大規模な組織、またはデータ量の多い中小企業はありません。
これは、この技術の神経学的側面のため特に当てはまります。関係する頭脳だけでなく、Kafkaが情報システムのために行うことの性質。 Kafkaは、組織全体のデータの移動を管理するために使用できるため、単なる交通警官ではなく、運用自体の頭脳と見なすことができます。そのビジョンの初期段階にありましたが、安心してください、それは本当です。
Kafkaがデータ管理をどのように変えるか
Kafkaがデータ管理の性質をどのように変えるかを理解するには、LinkedInがネットワークを変更した方法を考えてください。同僚を見つけるのがとても簡単になりました。人々と連絡を取り合うのは簡単です。 Kafkaは情報システムに対して、LinkedInがビジネスの人々に対して行うことを行います。この地球の最も広い範囲でそれらを接続し続けます。
Confluentのスピンオフは、新しいイノベーションと呼ばれるものの象徴です。これは、ソフトウェア開発とクローズドソースメンタリティの分離によって推進される動きであり、オープンソーステクノロジーのクリエーターによって導かれ、大量のベンチャーキャピタルに支えられ、収益化されています組織や人々がデータを作成、収集、分析、活用する方法に革命をもたらすことを目指す営利企業。
フランツ・カフカの言葉を引用すると、「特定の時点から、後戻りする必要はもうありません。それが到達しなければならない点です。」
ルビコンに合格しました。後戻りはできません。