Modelowanie dla biznesu. regresja logistyczna, regresja poissona, survival data mining, crm, credit scoring, AZ#EE43C2BFEB/DL-ebwm/pdf (Szkoła Główna Handlowa)

Przedmowa Czytelnikowi na rynku polskim została udostępniona publikacja Czwarta rewo­lucja przemysłowa autorstwa prof. Klausa Schwaba, założyciela i prezesa Świato­wego Forum Ekonomicznego We wstępie do publikacji, w rekomendacjach, znani ludzie biznesu i innych środowisk, w tym naukowych, zamieścili swoje wypowie­dzi.

Dalej zostały przedstawione wybrane dwie z nich. "Ludzkość stoi na progu największej w dziejach rewolucji, która zmiecie większość obo­wiązujących zasad naszego życia i pracy. Toczący się wykładniczo technologiczny rozwój świata jest już nie do zatrzymania" (Sebastian Kulczyk, CEO Kulczyk Investment).

"Najnowsze technologie, łączące świat cyfrowy, fizyczny i biologiczny, radykalnie zmie­niają naszą cywilizację. Nowe możliwości w medycynie, edukacji czy biznesie popra­wiają bytowanie człowieka na Ziemi i przyczyniają się do mądrzejszego korzystania z jej naturalnych zasobów.

Zarazem okazują się potencjalnie wyjątkowo niebezpieczne, otwierając ogromne przestrzenie do cyberprzestępczości czy przyczyniając się do dal­szej polaryzacji społeczeństw. Z tego powodu jednym z najpoważniejszych wyzwań dzisiejszego świata jest to,należycie i mądrze przeprowadzić czwartą rewolucję prze­mysłową" (Aleksandra Przegalińska, Akademia Leona Koźmińskiego).

We wstępie do swojej książki Czwarta rewolucja przemysłowa profesor Klaus Schwab pisze m.in.: "Znajdujemy się na początku przewrotu, który w sposób fundamentalny zmienia sposób, w jaki żyjemy, pracujemy i utrzymujemy kontakty.

spomiędzy różnorakich i fascynują­cych wyzwań, które w związku z tym stoją dzisiaj przed nami, największym i naj­ważniejszym zadaniem jest zrozumieć nową rewolucję technologiczną i adekwatnie ukierunkować jej przebieg.

(...) Jesteśmy świadkami ogromnych zmian we wszelkich branżach; wyłaniają się nowe technologie biznesowe, pojawiają się rewolucyjne zakłócenia w istniejącym porządku, które rewolucjonizują systemy produkcji, konsumpcji, transportu i dostaw.

Na froncie społecznym zachodzi zmiana paradygmatu określającego, jak pracujemy i komunikujemy się oraz jak się wyrażamy, jak przekazujemy informacje i jakich szukamy rozrywek. Przekształceniom ulegają równocześnie rządy i instytucje, jak i systemy edukacji, opieki zdrowotnej, transportu i mnóstwo innych.

świeże sposoby posługiwania się technolo­gią wpływają na nasze zachowania, a także systemy produkcji i konsumpcji, wytwarzają także możliwości wspierania, regeneracji i ochrony środowiska naturalnego, zamiast tworzenia ukrytych kosztów w formie efektów zewnętrznych.

Zmiany te pod względem wymiaru, tempa i zakresu, nie posiadają sobie równych w historii". Zmiany te znamionują się dużą prędkością, szerokością i głębią oraz wpły­wem na transformację wszystkich systemów.

Przed tym procesem stoją uczelnie wyższe, uniwersytety i środowiska akademickie, żeby w porę podjąć słuszne dzia­łania i włączyć się w solidną zmianę systemową. Obecnie modele są podstawą większości, jeśli nie wszystkich, decyzji bizne­sowych.

Coraz częściej firmy poszukują analityki jako kluczowego, strategicznego wyróżnika, który pozwala na kierowanie ogromną liczbą decyzji operacyjnych każ­dego dnia. Równocześnie marki identyfikują zagrożenia.

Według SAS White Paper 2018 jednym z bardzojszych czynników hamujących sukces analizy jest opóź­nienie pomiędzy tworzeniem a wdrażaniem modeli. Głównym powodem opóźnień we wdrożeniu modeli jest to,producenta produkują i wdrażają je w dwóch oddziel­nych środowiskach: biznesowym i informatycznym (IT).

Analitycy z rozmaitych jed­nostek biznesowych budują modele, a działy IT je wdrażają. Obie grupy polegają innym zestawom procesów, kodów programowania i języków, które utrudniają szybką reakcję na zmieniające się warunki biznesowe.

Jeśli firmy chcą usprawnić produkcję modeli, lepszym pomysłem jest automatyzacja powtarzalnych aspek­tów pracy i migracja modeli do procesu ciągłego podejmowania decyzji. Odpo­wiedzią jest fabryka analityczna, czyli połączone dwa środowiska i automatyzacja procesów oraz decyzji.

stanowczą część analityki dla biznesu stanowią modele predykcyjne. Ocena precyzyjności predykcyjnej jest ważnym aspektem oceny i porównywania modeli, algorytmów lub technologii, które generują prognozy. Prognozy i projekcje stały się pokaźną częścią każdego przedsięwzięcia biznesowego i naukowego.

Monografia Modelowanie dla biznesu prezentuje istotę i modelowanie z zakresu analityki biznesowej w wybranych obszarach zastosowań. Autorami lub współ­autorami kolejnych rozdziałów są pracownicy Zakładu Analizy Historii Zdarzeń i Analiz Wielopoziomowych, nasi magistranci albo absolwenci Podyplomowych Studiów "Analizy Statystyczne i Data Mining w Biznesie", za które merytorycznie odpowiada Zakład.

Monografia rozpoczyna cykl publikacji Modelowanie dla biz­nesu, serii, która będzie prezentować różnorodne przykłady modelowania bizne­sowego z wykorzystaniem przeróżnych metod analizy, włączając zawsze modelowanie predykcyjne.

Rozdział pierwszy jest rozdziałem o regresji logistycznej, modelowaniu, które jest używane w sześciu rozdziałach niniejszej monografii. Odpowiedziano w nim na następujące pytania: 1. Jaka była geneza regresji logistycznej i opartego na niej modelowania$5 2.

Jakie są podstawowe różnice między regresją liniową a regresją logistyczną$6 3. Jak przebiega estymacja modelu regresji logistycznej (na przykładzie regre­sji binarnej)$7 4. Jak interpretuje się wyniki estymacji parametrów regresji liniowej i regresji logistycznej, a także jakie są różnice$8 5.

Jakie są inne warianty modelowania regresji logistycznej poza modelem binarnym$9 6. Jakie znaczenie w modelowaniu regresji logistycznej ma kodowanie zmien­nych jakościowych$10 7. Co składa się na proces wnioskowania w modelach regresji logistycznej$11 8.

Co oznacza predykcja i model predykcyjny z wykorzystaniem regresji logi­stycznej$12 9. Jakie mierniki i testy wykorzystuje się do oceny zdolności predykcyjnej modelu opartego na regresji logistycznej$13 W rozdziale drugim zamieszczono przegląd podstawowych testów i miar do oceny zależności zmiennych jakościowych, których dane empiryczne można zestawić w postaci tablic kontyngencji.

Analiza tablic kontyngencji stanowi czę­sto wstępny etap wielu bardziej nowoczesnych analiz, w tym modeli regresji logistycznej. Przegląd testów i miar obejmuje: testy służące do weryfikacji hipotez o niezależności dwóch cech jakościowych (testy asymptotyczne i dokładne), a także test Cochrana-Mantela-Haenszela i jego przeróżne postacie, w zależności od celu ana­lizy.

Kolejno omówiono podstawowe miary asocjacji pomiędzy cechami jakościo­wymi. Konstrukcja tych miar zależy od rodzaju skal pomiarowych, stąd opis miar zależności dotyczy: zmiennych dychotomicznych, nominalnych i porządkowych.Ostatnia część rozdziału ma charakter aplikacyjny, zamieszczono przykłady obliczeń i interpretacji wcześniej opisanych testów i miar na przykładach tablic kontyngencji z wykorzystaniem oprogramowania SAS.

proces budowy modelu regresji logistycznej z binarną zmienną objaśnianą jest tematem rozdziału trzeciego. W pierwszej jego części zaprezentowano model deskryptywny, którego celem jest zrozumienie i poznanie zależności w badanej próbie.

Następnie opisano model predykcyjny, który ma na celu realnie najkorzystniejsze różnicowanie obserwacji spoza zakresu informacji wykorzystanych do budowy modelu. Omówiono zbiór i wykorzystane procedury i autorskie makra SAS.

Przeprowadzono jednowymiarową analizę zmiennych objaśniających, w tym analizę braków , a także sprawdzono moc dyskryminacyjną poszczególnych zmiennych. Przedstawiono algorytm podziału zbioru informacji na próbę uczącą i walidacyjną.

Przeprowadzono analizy korelacji i współliniowości. Opisano algo­rytm doboru predyktorów do każdego modelu w celu zmniejszenia rozmiarowości. Zaprezentowano analizę obserwacji wpływowych i odstających. Finalne modele zostały poddane interpretacji ekonomicznej, a także gruntownej weryfikacji staty­stycznej.

Przeprowadzone testy statystyczne uzupełniono o przedstawienie gra­ficzne w trafnych przypadkach. Rozdział czwarty dotyczy modelowania z wykorzystaniem modelu regresji binarnej i uporządkowanej. Celem analizy było określenie czynników pozwala­jących przewidzieć końcowy wynik meczu piłkarskiego na przykładzie informacji z dwóch pełnych sezonów lig angielskiej.

Wykorzystując SAS Enterprise Guide 7.1, zbudowano modele regresji binarnej i uporządkowanej zbioru informacji liczącego 760 obserwacji. Zaprezentowano kody stwarzające modele, a także najważniejsze kody etapu przetwarzania informacji.

W modelowaniu wykorzystano 119 zmiennych zawierających statystyki meczowe drużyn gospodarzy i gości, statystyki zagrego­wane z całego sezonu poprzedzającego daną obserwację, statystyki zagregowane z meczów u siebie dla gospodarza i z meczów wyjazdowych dla gości oraz właściwości finansowe i geograficzne.

Zaprezentowano statystyki przypasowania i jakości predykcyjnej modeli. W modelu binarnym liczba goli strzelonych przez gospo­darzy u siebie w ubiegłym sezonie i przewidywania bukmacherów dotyczące danego meczu okazały się najsilniejszymi predyktorami.

W modelu uporządko­wanym stracone bramki przez gości w meczach wyjazdowych w ubiegłym sezo­nie i typy bukmacherów miały największy wpływ na zmienną odpowiedzi. W rozdziale piątym do modelowania wykorzystano model regresji Poissona.

Pierwszą część rozdziału stanowi wstęp teoretyczny do rozkładu i regresji Poissona i opis podstawowej składni procedury GENMOD wykorzystanej do estyma­cji modelu. W kolejnych podrozdziałach są zaprezentowane przykłady estymacji i analizy liczby infekcji.

Rozdział mieści także informacje dotyczące problemu nadmiernej dyspersji często występujących w rzeczywistych użyciach, a także dwa sposoby rozwiązania tego problemu: korekcja wariancji za pomocą parame­tru skali oraz model ujemny dwumianowy.

Dokonano porównania obu metod modelowania, wskazując podobieństwa i różnice w estymacji. Uzupełnieniem rozdziału jest analiza obserwacji wpływowych i odstających i ich znaczenia w procesie estymacji.

Tematykę użycia modeli predykcyjnych j ako narzędzia umożliwiającego zwiększenie produktywności kampanii marketingu bezpośredniego podjęto w roz­dziale szóstym. Pierwsza jego część to wprowadzenie do dziedziny marketingu, w którym zawarto opis podstawowych pojęć i definicji dotyczących podejmowa­nej tematyki.

Następnie opisano rolę modeli predykcyjnych w marketingu i znaczenie wskaźnika otwarcia dla sukcesu kampanii marketingowych. Przedsta­wiono w dodatku podstawy teoretyczne zaimplementowanych metod - regresji logistycz­nej, sztucznej sieci neuronowej i drzewa decyzyjnego.

Opisano wykorzystany do modelowania zbiór danych, jak ponadto całościowy proces budowy poszcze­gólnych modeli predykcyjnych, ich porównania oraz wyboru najlepszego pod względem zdolności predykcyjnych.

Rozdział zakończono prezentacją praktycz­nego użycia finalnego modelu. W rozdziale siódmym skupiono się na analizie churnu, czyli zjawiska odej­ścia klienta, które jest związane z zakończeniem korzystania ze świadczonej poprzez firmę usługi,, a także na przykładowych dwóch podejściach użytkowanych do jego badania.

W części teoretycznej przedstawiono charakterystykę zjawiska churnu i możliwe do użycia podejścia analityczne, ze szczególnym uwzględnieniem modelu regresji logistycznej, a także modelu survival data mining.

W ramach części praktycznej utworzone zostały, na podstawie danych dotyczą­cych churnu w firmie telekomunikacyjnej, dwa modele: model regresji logistycz­nej i model survival data mining z perspektywą roczną.

Na podstawie części aplikacyjnej dokonano podsumowania uwzględniającego możliwości i ogra­niczenia dwóch utworzonych modeli. Rozdział ósmym zawiera opis cyklu implementacji metod credit scoringu w obszarach związanych z zarządzaniem relacjami biznesowymi z klientem kor­poracyjnym i motywowaniem pośrednich struktur sprzedaży.

Business case, opisany w rozdziale, dotyczy polskiej branży farmaceutycznej, a środowisko dla niego stanowią czasy czwartej rewolucji technicznej. Klasyczny credit scoring jest oparte na mechanizmie transformacji szacowanego prawdopodobieństwa zaj­ścia zdarzenia sukcesu lub porażki do postaci prosto interpretowalnych punktów scoringowych.

w dodatku algorytm pozwala na jednoznaczne wyróznionie najszczególniej­szych, a przez to najmocniej predyktywnych atrybutów modelowanego zjawiska i podzielnie ich na kategorie określające stopień ryzyka wystąpienia prognozo­wanego zdarzenia.

Suma punktów otrzymanych w ramach każdej zmiennej sta­nowi o przynależności podmiotów do określonej grupy ryzyka. Podejście to od dawna wykorzystywane jest z sukcesem w bankowości dla procesów kredytowych, w instytucjach ubezpieczeniowych do wykrywania oszustów i w ocenie efek­tywności kampanii marketingowych.

Rozdział ósmy składa się trzech głównych części. Pierwsza stanowi repozytorium wiedzy na temat podstaw teoretycznych i mechanizmów credit scoringu. Wyjaśnione są w nim między innymi pojęcia default, punkt obserwacji, wskaźnik Giniego i tabela ABT.

Część druga dedyko­wana jest problematyce segmentacji i optymalizacji strategii biznesowych dla sieci aptecznych. Przedstawiono w niej klasyczne i ogólnodostępne metody segmen­tacji klientów sieciowych, proponowane przez marki analityczne zajmujące się rynkiem farmaceutycznym,, a także podejście postępowe.

progresywność alterna­tywnego sposobu profilowania sieci aptecznych umożliwia wielowymiarowe usze­regowanie klientów według skłonności do zajęcia określonej pozycji w rankingu skuteczności dochodowej per apteka.

Równolegle w tej części poruszone zostały kwestie związane z jakością i mocą predykcyjną modelu scoringowego w warun­kach skąpej liczby rekordów w modelowanej populacji. Część trzecia poświę­cona została modelowaniu szansy na osiągniecie co najmniej 100% realizacji celu sprzedażowego przez przedstawiciela handlowego, w szczególności przedstawi­ciela medycznego.

Opisano w niej aspekt wykorzystania wiedzy o przyszłym roz­kładzie wyników sprzedażowych do celów budowania strategii i ustalania celów taktycznych dla zespołów sprzedażowych na kolejny okres rozliczeniowy.

ponadto wskazano na rolę narzędzi credit scoringu w motywowaniu pracowników. Auto­rzy podkreślili trudną rolę kierownika regionalnego w wyjaśnieniu przypadków, w których model się myli. W rozważanym zaimplementowaniu konieczność przedysku­towania każdego aspektu uzyskanych ocen cząstkowych stanowi wyzwanie w pra­widłowej interpretacji i aplikacji wyników modelowania zjawiska.