コンテンツ
Q：
ビッグデータにデータが多すぎることはありませんか？
A：
質問への答えは圧倒的なYESです。ビッグデータプロジェクトには、データが多すぎる可能性があります。
これを実現する方法は数多くあり、適切な結果を得るために専門家がさまざまな方法でデータを制限および管理する必要があるさまざまな理由があります。 （ビッグデータに関する10の大きな神話を読んでください。）
一般に、専門家はモデルの「信号」と「ノイズ」を区別することについて話します。言い換えれば、ビッグデータの海では、関連する洞察データをターゲットにするのが難しくなります。場合によっては、干し草の山で針を探しています。
たとえば、ある企業がビッグデータを使用して顧客ベースのセグメントに関する特定の洞察と特定の時間枠での購入を生成しようとしているとします。 （ビッグデータとは何ですか？）
膨大な量のデータ資産を取り込むと、関係のないランダムなデータが取り込まれる可能性があります。また、データをある方向または別の方向に歪ませるバイアスが生じることもあります。
また、コンピューティングシステムはますます多くのデータセットに取り組む必要があるため、プロセスが劇的に遅くなります。
非常に多くの種類のプロジェクトで、データエンジニアがデータを制限された特定のデータセットにキュレートすることは非常に重要です。上記の場合、それは調査対象の顧客セグメントのデータのみであり、その時間のデータのみです。調査中のフレーム、および物事を混乱させたりシステムの速度を低下させる可能性のある追加の識別子や背景情報を排除するアプローチ。 （ReadJobの役割：データエンジニア。）
詳細については、機械学習の最前線でこれがどのように機能するかを見てみましょう。 （機械学習101をお読みください。）
機械学習の専門家は、「過剰適合」と呼ばれるものについて話します。ここでは、過度に複雑なモデルは、新しい実稼働データで機械学習プログラムを緩めた場合に効果の低い結果につながります。
過適合は、データポイントの複雑なセットが最初のトレーニングセットとあまりにもよく一致する場合に発生し、プログラムが新しいデータに簡単に適応できないようにします。
技術的には、過剰適合はデータサンプルの数が多すぎるためではなく、データポイントの数が多すぎるために発生します。ただし、データが多すぎることも、この種の問題の原因になる可能性があると主張できます。次元の呪いに対処するには、専門家がITシステムに供給しているものを特定しようとしたため、以前のビッグデータプロジェクトで行われたのと同じ手法がいくつか含まれます。
結論として、ビッグデータは企業にとって非常に役立つか、大きな課題になる可能性があります。これの1つの側面は、会社が適切なデータを使用しているかどうかです。専門家は、すべてのデータ資産をホッパーに単純にダンプし、そのように洞察を考え出すことは賢明ではないことを知っています。新しいクラウドネイティブで洗練されたデータシステムでは、より正確に取得するためにデータを制御および管理し、キュレートする努力がありますデータ資産の効率的な使用。