コンテンツ
ソース：Nmedia /Dreamstime.com
取り除く：
ビッグデータはどこでもビッグビジネスですが、このテクノロジーを最も活用している特定の領域がいくつかあります。
この記事を始めたとき、さまざまなタイプのビッグデータプラットフォームをリストすることを計画していました。しかし、3日間、さまざまなビッグデータの提供物（リレーショナルと非リレーショナル、SQLとNoSQL、およびデータベースとフレームワーク）をすべて整理して、混乱を避けることにしました。
傷害にto辱を加えるために、私は記事の一部として「ビッグデータ」という用語を生み出した人物を紹介したいと思っていました。しかし、私もそれをすることはできません。合意された答えはありません。実際、最初にビッグデータを思いついたのは誰かを調査する本格的な調査プロジェクトがあります。代わりに、私はビッグデータが使用される重要な方法のいくつかを見ていきます。それははるかに重要です。そして、あなたが思っているよりももっと面白くて驚くべきものです。
どのように起こったか
従来のデータマイニングを使用するアナリストは、長年にわたってデータを操作してきました。これらの同じアナリストは、企業、民間組織、政府機関によって保存されているデータの量と多様性に対処することが困難になっています。
データマイニングの次の進化ステップであるビッグデータを入力します。ビッグデータは、今日のデジタル世界で作成されている膨大なデータベースと無数の種類のデータを処理するために設計されました。 「大規模」に、GoogleとGoogleが収集するすべてのデータについて考えている場合、あなたは球場にいるでしょう。驚かれるかもしれませんが、Googleは世界最大のデータベースのトップ10リストの4番目にすぎません。 2014年1月現在、世界気候データセンターは220テラバイトのデータでリストのトップを占めており、特定の政府機関が管理するデータベースのサイズについては誰もが推測しています。
もちろん、大量の異種データを操作し、驚くべき、そして驚くほど詳細で個人的なものを発見することが可能になるため、ビッグデータが普及しました。人事業界アナリストのジョン・サムサーは、次の例を提供します。
「今日は仮説を立ててデータを収集します。明日は逆のことをします。データを絶え間なく着実に蓄積することで、質問を作成する前にデータを見ることができます。尋ねることを知っている。私たちは事実だと思っていることのすべてを考え抜くつもりだ。」
もちろん、家族が気付く前に若い女性の妊娠を識別するターゲット機能など、このデータが使用されている不気味な方法のいくつかについてはすべて聞いています。しかし、ビッグデータは、はるかに少ない不吉な原因にも使用されています。最も活用している組織は次のとおりです。
誰もソフトウェアの品質を気にしない場合、プログラミングスキルを向上させることはできません。
ビッグデータが役立つ明確な分野の1つは、医療機関全体で電子健康記録を安全かつ正確に処理することです。正確な記録を持つことは、患者により良いサービスを提供し、エラーを減らします。医療分野では、明らかな理由により、患者の機密保持に関する政府の規制に準拠するために、ビッグデータをより遅いペースで適応させています。
前述のように、ビッグデータは、未回答の質問への回答を提供することで知られています。医療分野では、これは、他の方法では見つからなかった新薬または治療法を見つけることを意味する場合があります。 McKinsey＆Companyによると、ビッグデータにより、それほど遠くない将来に以下が可能になる可能性があります。
- 生物学的プロセスと薬物の予測モデリングは、より洗練され、普及しています。
- ソーシャルメディアなどのより多くの情報源に基づいて、臨床試験に登録する患者が特定されます。
- 安全性または運用上の問題を迅速に特定するために、試験がリアルタイムで監視されます。
- 活用が困難な厳格なデータサイロの代わりに、データは電子的にキャプチャされ、異なるユニット間で簡単に流れます。
ビッグデータ、大きな機会
ビッグデータは特定の分野で活用されていますが、以下の分野のすべての組織に機会を提供します。
ほぼすべてのコンピューティングおよびネットワークデバイスがデータを記録します。すぐに記録されるデータの量は扱いにくくなります。ビッグデータはその量のデータを簡単に管理できるため、管理者はネットワークアクティビティを監視したり、問題を診断したり、Rubinが私に与えた例では、マルウェアアクティビティを示す特定のネットワークトラフィックパターンを探すことができます。
この記事を読んでいる場合、OpenSSLを取り巻くHeartbleedの問題を知っているのはかなり安全です。技術的な問題に加えて、この脆弱性が数年間存在しているという懸念があります。 Rubinは、ビッグデータを使用すると、ネットワーク管理者がデータアナリストと協力して、悪意のあるハートビートがないかすべてのネットワークログを検索するプログラムを作成できると述べました。このEFFの投稿には次のことが記載されています。
「広範なパケットログを持つネットワークオペレータは、悪意のあるハートビートをチェックできます。最も一般的には、TCPペイロードが18 03 02 00 03 01または18 03 01 00 03 01（または18 03 03 00 03 01）になります。」次の例は、show auditコマンドのサンプル出力です。
Router＃show audit
* Sep 14 18：37：31.535：％AUDIT-1-RUN_VERSION：ハッシュ：
24D98B13B87D106E7E6A7E5D1B3CE0ADユーザー：
* Sep 14 18：37：31.583：％AUDIT-1-RUN_CONFIG：Hash：
4AC2D776AA6FCA8FD7653CEB8969B695ユーザー：
* Sep 14 18：37：31.595：％AUDIT-1-STARTUP_CONFIG：ハッシュ：
95DD497B1BB61AB33A629124CBFEC0FCユーザー：
* Sep 14 18：37：32.107：％AUDIT-1-FILESYSTEM：Hash：
330E7111F2B526F0B850C24ED5774EDEユーザー：
* Sep 14 18：37：32.107：％AUDIT-1-HARDWARE_CONFIG：Hash：
32F66463DDA802CC9171AF6386663D20ユーザー：
タイムスタンプに従うと、これらすべてのエントリの時間間隔は1秒未満でした。 2年間は言うまでもなく、それを1日外挿したくはありません！
見るべきもの
求人広告をチェックする場合、ビッグデータの専門家が非常に必要です。これについてルービンに聞いた。彼は、彼の生徒たちが彼らの展望に興奮していると述べて同意した。その後、ビッグデータプラットフォーム、特にオープンソースと見なされるプラットフォームが、Linuxが主流になった方法と非常によく似たタイムラインに従っていることに気付きました。
大学は無料であり、学生はソースコードを操作できるため、ビッグデータプラットフォーム、特にHadoopのオープンソースバージョンを採用しています。そのため、これらの求人をすべて満たす卒業生は、オープンソースプラットフォームでの作業を好むでしょう。見るのは面白いでしょう。