Text Mining: metody, narzędzia i zastosowania

Text Mining: metody, narzędzia i zastosowania, Mariusz Dzieciątko, Dominik Spińczyk

SAS Text Analytics to uniwersalna platforma zaspokajająca potrzeby informacyjne w organizacji do wydobywania i zarządzania informacją dostępną w różnego rodzaju dokumentach tekstowych. Praca składa się z czterech części, w których można znaleźć następujące zagadnienia:

·         niezbędną interdyscyplinarną wiedzę

·         klasyfikację używanych metod na tle innych dziedzin zajmujących się przetwarzaniem danych

·         architekturę oprogramowania SAS Text Analytics

·         sposób reprezentacji informacji zawartej w dokumencie tekstowym

·         metodę analizy semantycznej wymiarów ukrytych

·         wybór funkcji wagującej i redukcję wymiarowości macierzy częstości

·         algorytmy grupowania dokumentów tekstowych: probabilistyczne i hierarchiczne

·         sposoby zarządzania informacją w organizacji

·         klasyfikację dokumentów

·         analizę sentymentu

·         bezpośrednie porównywanie treści dokumentów za pomocą miar odległości kosinusowej i metryki Jaccarda

·         zasady wydobywania jednostek specjalnych

·         sposoby wizualizacji danych tekstowych

·         polsko-angielski słownik pojęć z dziedziny eksploracji danych tekstowych

·         zarys zagadnień dotyczących programowania w środowisku SAS: podstawy języka 4GL języka makr

·         wykaz literatury tematycznej

Możliwości omówionych narzędzi i zaimplementowanych algorytmów zostały zilustrowane na przykładach zbiorów danych z różnych dziedzin: zbioru krótkich wypowiedzi dotyczących sportu, pogody i zwierząt, zbioru opisów radiologicznych badań diagnostycznych jamy brzusznej oraz zbioru opinii użytkowników na temat telefonów z forów użytkowników

Dominik Spinczyk Doktor nauk technicznych w dyscyplinie Biocybernetyka i Inżynieria Biomedyczna; habilitacja w nowym trybie na podstawie zbioru publikacji na etapie recenzji zewnętrznych w Centralnej Komisji; Politechnika Śląska; Wydział Inżynierii Biomedycznej; obecnie do końca listopada PostDoc position: Centrum Onkologii Lyon, Francja.

Mariusz Dzieciątko Dr inż. Mariusz Dzieciątko, doktor nauk technicznych, Business Solution Manager w SAS Poland Technology and Big Data Competency Center oraz wykładowca w Szkole Głównej Handlowej w Warszawie w Instytucie Informatyki i Gospodarki Cyfrowej.