KDD a eksploracja danych
KDD (Knowledge Discovery in Databases) to dziedzina informatyki, która obejmuje narzędzia i teorie pomagające ludziom w wydobywaniu użytecznych i wcześniej nieznanych informacji (tj. Wiedzy) z dużych zbiorów zdigitalizowanych danych. KDD składa się z kilku kroków, a jednym z nich jest Data Mining. Data Mining to zastosowanie określonego algorytmu w celu wydobycia wzorców z danych. Niemniej jednak KDD i Data Mining są używane zamiennie.
Co to jest KDD?
Jak wspomniano powyżej, KDD to dziedzina informatyki, która zajmuje się wydobywaniem wcześniej nieznanych i interesujących informacji z surowych danych. KDD to cały proces polegający na próbie zrozumienia danych poprzez opracowanie odpowiednich metod lub technik. Ten proces dotyczy mapowania danych niskiego poziomu na inne formy, które są bardziej zwarte, abstrakcyjne i przydatne. Osiąga się to poprzez tworzenie krótkich raportów, modelowanie procesu generowania danych i opracowywanie modeli predykcyjnych, które mogą przewidywać przyszłe przypadki. Ze względu na wykładniczy wzrost ilości danych, szczególnie w obszarach takich jak biznes, KDD stał się bardzo ważnym procesem przekształcania tego ogromnego bogactwa danych w analizę biznesową, ponieważ ręczne wydobywanie wzorców stało się pozornie niemożliwe w ciągu ostatnich kilku dekad. Na przykład,Obecnie jest używany do różnych zastosowań, takich jak analiza sieci społecznościowych, wykrywanie oszustw, nauka, inwestycje, produkcja, telekomunikacja, czyszczenie danych, sport, wyszukiwanie informacji i głównie marketing. KDD jest zwykle używany do odpowiedzi na pytania, takie jak jakie są główne produkty, które mogą pomóc w osiągnięciu wysokiego zysku w przyszłym roku w Wal-Mart ?. Ten proces ma kilka kroków. Rozpoczyna się od zrozumienia domeny aplikacji i celu, a następnie utworzenia docelowego zestawu danych. Następnie następuje czyszczenie, wstępne przetwarzanie, redukcja i projekcja danych. Następnym krokiem jest użycie eksploracji danych (wyjaśnione poniżej) w celu zidentyfikowania wzorca. Wreszcie odkryta wiedza jest utrwalana poprzez wizualizację i / lub interpretację.sport, wyszukiwanie informacji i głównie do celów marketingowych. KDD jest zwykle używany do odpowiedzi na pytania, takie jak jakie są główne produkty, które mogą pomóc w uzyskaniu wysokiego zysku w przyszłym roku w Wal-Mart ?. Ten proces ma kilka kroków. Rozpoczyna się od zrozumienia domeny aplikacji i celu, a następnie utworzenia docelowego zestawu danych. Następnie następuje czyszczenie, wstępne przetwarzanie, redukcja i projekcja danych. Następnym krokiem jest użycie eksploracji danych (wyjaśnione poniżej) w celu zidentyfikowania wzorca. Wreszcie, odkryta wiedza jest utrwalana poprzez wizualizację i / lub interpretację.sport, wyszukiwanie informacji i głównie do celów marketingowych. KDD jest zwykle używany do odpowiedzi na pytania, takie jak jakie są główne produkty, które mogą pomóc w osiągnięciu wysokiego zysku w przyszłym roku w Wal-Mart ?. Ten proces ma kilka kroków. Rozpoczyna się od zrozumienia domeny aplikacji i celu, a następnie utworzenia docelowego zestawu danych. Następnie następuje czyszczenie, wstępne przetwarzanie, redukcja i projekcja danych. Następnym krokiem jest użycie eksploracji danych (wyjaśnione poniżej) w celu zidentyfikowania wzorca. Wreszcie, odkryta wiedza jest utrwalana poprzez wizualizację i / lub interpretację. Rozpoczyna się od zrozumienia domeny aplikacji i celu, a następnie utworzenia docelowego zestawu danych. Następnie następuje czyszczenie, wstępne przetwarzanie, redukcja i projekcja danych. Następnym krokiem jest użycie eksploracji danych (wyjaśnione poniżej) do zidentyfikowania wzorca. Wreszcie odkryta wiedza jest utrwalana poprzez wizualizację i / lub interpretację. Rozpoczyna się od zrozumienia domeny aplikacji i celu, a następnie utworzenia docelowego zestawu danych. Następnie następuje czyszczenie, wstępne przetwarzanie, redukcja i projekcja danych. Następnym krokiem jest użycie eksploracji danych (wyjaśnione poniżej) w celu zidentyfikowania wzorca. Wreszcie odkryta wiedza jest utrwalana poprzez wizualizację i / lub interpretację.
Co to jest eksploracja danych?
Jak wspomniano powyżej, eksploracja danych to tylko krok w ramach całego procesu KDD. Istnieją dwa główne cele Data Mining zdefiniowane przez cel aplikacji, a mianowicie weryfikacja lub odkrywanie. Weryfikacja to weryfikacja hipotezy użytkownika dotyczącej danych, podczas gdy odkrywanie automatycznie wyszukuje interesujące wzorce. Istnieją cztery główne zadania eksploracji danych: grupowanie, klasyfikacja, regresja i asocjacja (podsumowanie). Grupowanie to identyfikacja podobnych grup na podstawie nieustrukturyzowanych danych. Klasyfikacja to nauka reguł, które można zastosować do nowych danych. Regresja to znajdowanie funkcji z minimalnym błędem w modelowaniu danych. A asocjacja szuka relacji między zmiennymi. Następnie należy wybrać konkretny algorytm eksploracji danych. W zależności od celu, różne algorytmy, takie jak regresja liniowa, regresja logistyczna,można wybrać drzewa decyzyjne i Naïve Bayes. Następnie przeszukiwane są wzorce zainteresowania w jednej lub kilku formach reprezentacji. Wreszcie modele są oceniane przy użyciu dokładności predykcyjnej lub zrozumiałości.
Jaka jest różnica między KDD a Data Miningiem?
Chociaż dwa terminy KDD i Data Mining są często używane zamiennie, odnoszą się do dwóch powiązanych, ale nieco różnych koncepcji. KDD to ogólny proces wydobywania wiedzy z danych, podczas gdy Data Mining jest krokiem wewnątrz procesu KDD, który zajmuje się identyfikacją wzorców w danych. Innymi słowy, Data Mining to tylko zastosowanie określonego algorytmu opartego na ogólnym celu procesu KDD.
