コンテンツ
出典：Pop Nukoonrat / Dreamstime.com
取り除く：
データはビジネスにとって非常に重要ですが、そのデータを活用するためには、そのデータの収集、処理、表示にエラーがあってはなりません。人工知能はETLプロセスを監視して、エラーがないことを確認できます。
ETL（抽出、変換、およびロード）は、ビッグデータ分析で最も重要なプロセスの1つであり、同時に最大のボトルネックの1つでもあります。 （ビッグデータの詳細については、オンラインで受講できる5つの役立つビッグデータコースをご覧ください。）
ETLが非常に重要な理由は、ビジネスが収集するほとんどのデータは、そのままの形で、分析ソリューションを消化する準備ができていないためです。分析ソリューションが洞察を作成するには、生データを現在存在するアプリケーションから抽出し、分析プログラムが読み取り可能な形式に変換してから、分析プログラム自体にロードする必要があります。
このプロセスは調理に似ています。あなたの原料はあなたの生データです。分析（試食）する前に、それらを抽出（ストアから購入）、変換（調理）、ロード（メッキ）する必要があります。難易度と費用は予測できないほど大きくなる可能性があります。Macn 'チーズを自分で作るのは簡単ですが、ディナーパーティーで40人分のグルメメニューを作成するのははるかに困難です。言うまでもなく、どの時点でも間違いがあると、食事が消化できなくなる可能性があります。
ETLが分析のボトルネックを作成
ETLはある意味では分析プロセスの基盤ですが、欠点もあります。まず第一に、それは遅く、計算コストがかかります。これは、多くの場合、企業は分析のために最も重要なデータのみに優先順位を付け、残りを単純に保存することを意味します。これは、すべてのビジネスデータの最大99％が分析目的で使用されないという事実に寄与しています。
さらに、ETLプロセスは確実ではありません。 ETLプロセス内のエラーにより、データが破損する可能性があります。たとえば、短いネットワークエラーにより、データが抽出されないことがあります。ソースデータに複数のファイルタイプが含まれている場合、それらが誤って変換される可能性があります。彼らが言うように、ガーベッジ・イン、ガーベッジ・アウト-ETLプロセス中のエラーは、ほぼ間違いなく不正確な分析の観点から自分自身を表現します。
破損したETLプロセスは、悪い結果をもたらす可能性があります。最良のシナリオであっても、おそらくETLを再実行する必要があります。これは数時間の遅延を意味します。その間、意思決定者はいらいらします。最悪のシナリオでは、お金と顧客を失い始めるまで、不正確な分析に気付かないでしょう。
機械学習とAIによるETLの合理化
ETLを監視するために誰かを割り当てることができますが、正直なところそうではありません。不正なデータは、プロセスエラーが非常に迅速に発生するため、リアルタイムで気付かない可能性があります。破損したETLプロセスの結果は、多くの場合、正しくロードされたデータと異なって見えません。エラーが明らかな場合でも、エラーを引き起こした問題をトレースするのはそれほど簡単ではない場合があります。 （データの分析の詳細については、「職務：データアナリスト」を参照してください。）
良いニュースは、人間ができないものを機械がキャッチできることです。これらは、AIと機械学習が不正確な分析に変わる前にETLエラーをキャッチできるいくつかの方法です。
バグやストレスなし-あなたの人生を破壊することなく人生を変えるソフトウェアを作成するためのステップバイステップガイド
誰もソフトウェアの品質に関心がない場合、プログラミングスキルを向上させることはできません。
1. ETLメトリック全体の検出とアラート
データは常に動いていますが、ETLプロセスは一貫した速度で一貫した値を生成する必要があります。これらの事柄が変わると、アラームの原因になります。人間はデータの大きな揺れを確認してエラーを認識することができますが、機械学習は微妙な障害をより速く認識できます。機械学習システムがリアルタイムの異常検出を提供し、IT部門に直接警告することで、数時間の計算作業を無駄にすることなく、プロセスを一時停止して問題を解決できます。
2.特定のボトルネックを特定する
結果が正確であったとしても、使用するには遅すぎる可能性があります。ガートナーによると 洞察の80％ 分析から導き出されたものが金銭的価値を生み出すために利用されることは決してありません。これは、ビジネスリーダーがそれを利用するための時間内に洞察を見ることができないためです。機械学習は、システムの速度が低下している場所を特定し、より良いデータをより速く取得するための答えを提供します。
3.変更管理の影響を定量化する
データと分析を生成するシステムは静的ではなく、常にパッチとアップグレードを受け取ります。時には、これらはデータの生成または解釈の方法に影響を及ぼし、不正確な結果につながります。機械学習は、変更された結果にフラグを付け、特定のパッチが適用されたマシンまたはアプリケーションに追跡することができます。
4.運用コストを削減する
分析操作の停滞は、お金の損失に匹敵します。問題を解決する方法だけでなく、 誰が責任者ですか 問題を解決するために、価値の構築に費やすことができる時間です。機械学習は、特定の種類のインシデントへの対応を担当する可能性のあるチームのみに警告を発し、IT部門の残りの部分が自由にコアジョブ機能を実行できるようにすることで、問題の核心をつかみます。さらに、機械学習は誤検知を排除し、アラートの総数を減らし、提供できる情報の粒度を高めます。警告疲労は非常に現実的であるため、この変更は生活の質に測定可能な影響を与えます。
ビジネスで勝つためには、分析が不可欠です。ベインキャピタルの画期的な調査によると、分析を採用している企業は、財務的に2倍以上のパフォーマンスを発揮する可能性があります。 ETLはこの分野で成功するための基盤を提供しますが、遅延やエラーは分析プログラムの成功を妨げる可能性もあります。したがって、機械学習は分析プログラムの成功にとって非常に貴重なツールとなり、クリーンなデータと正確な結果を保証するのに役立ちます。