SKN Data Science Management SGH

Ostatnio panuje moda na bycie niezależnym, więc i my wspomnimy o niezależności, ale w statystyce. Dzisiaj o Chi-kwadrat (χ²) 😎

Chi-kwadrat (χ²) to statystyczny test używany do określenia, czy istnieje istotna różnica między oczekiwaną a obserwowaną częstością występowania różnych zdarzeń. Jest używany w analizie danych, aby określić, czy obserwowane częstości różnią się od tych oczekiwanych na podstawie pewnej hipotezy.🧐🧐

Test chi-kwadrat polega na porównaniu wartości obserwowanych z wartościami oczekiwanymi. W zależności od konkretnego kontekstu, wartości obserwowane mogą być np. liczbą obiektów w różnych kategoriach, częstościami zdarzeń w grupach czy też wynikami w badaniach. Wartości oczekiwane są wyliczane na podstawie założonego modelu teoretycznego lub hipotezy zerowej.➕

Istnieją różne warianty testu chi-kwadrat, z których najczęściej spotykanymi są:

Test niezależności chi-kwadrat: Służy do sprawdzenia, czy występuje związek między dwoma zmiennymi kategorycznymi. Zmienne kategoryczne, czyli zmienne, które reprezentują kategorie lub grupy, a ich wartości są wyrażone w formie etykiet lub nazw. Zmienne te nie mają porządku naturalnego, co oznacza, że nie można ich uporządkować w sposób numeryczny. Zamiast tego, kategorie są rozróżnialne jedynie na podstawie przynależności do danej grupy.

Test zgodności chi-kwadrat: Wykorzystywany, gdy chcemy porównać obserwowane częstości z danymi oczekiwanymi z jednej zmiennej, takiej jak rozkład populacji.

W przypadku testu niezależności, hipoteza zerowa zakłada brak związku między zmiennymi, podczas gdy w przypadku testu zgodności zakłada się, że obserwowane częstości zgadzają się z danymi oczekiwanymi. O ile wynik testu wskazuje na istotną różnicę między obserwowanymi a oczekiwanymi wartościami, o tyle odrzucana jest hipoteza zerowa na korzyść alternatywnej, która sugeruje istnienie związku lub różnicy. 👀

W przypadku odrzucenia hipotezy zerowej, wynik testu sugeruje istnienie istotnej statystycznie różnicy między danymi obserwowanymi a oczekiwanymi, co może prowadzić do dalszej analizy lub wnioskowania w kontekście badanej dziedziny.

PowerBI? a komu to potrzebne❓ Dzisiaj omawiamy biblioteki ułatwiające wizualizację danych wewnątrz języków.👀

Jeżeli nie jesteśmy użytkownikiem końcowym analizy, lub jeżeli chcemy przedstawić wyniki naszych analiz w sposób zrozumiały i atrakcyjny, to warto się w te biblioteki zagłębić. Tutaj wkracza kolejna fascynująca dziedzina Data Science, która nie tylko pozwala zgłębiać ukryte wzorce i trendy w danych, ale także umożliwia ich wizualizację w sposób, który jest zarówno przystępny, jak i inspirujący.🤓

Ważnym narzędziem w arsenale każdego Data Scientist są potężne biblioteki wizualizacyjne, które umożliwiają konwersję surowych danych na wykresy, grafiki i mapy. Dzięki nim możliwe jest nie tylko lepsze zrozumienie danych, ale również skuteczniejsze przekazywanie wniosków i wyników analiz.

📊 Matplotlib (Python): Jest to jedna z najstarszych i najbardziej wszechstronnych bibliotek wizualizacyjnych w języku Python. Matplotlib oferuje szeroki zakres możliwości, od prostych wykresów liniowych po skomplikowane mapy cieplne i trójwymiarowe wykresy.📈🐍

🔍 Seaborn (Python): Dla tych, którzy szukają bardziej zaawansowanych i estetycznych wizualizacji danych, Seaborn jest idealnym wyborem. Zbudowana na bazie Matplotlib, Seaborn oferuje łatwe w użyciu interfejsy do tworzenia wykresów statystycznych, które potrafią wyeksponować najbardziej subtelne zależności w danych.🐍🐍🐍

🎨 ggplot2 (R): Równie niezastąpiona dla miłośników języka R, ggplot2 przynosi koncepcję "Grammar of Graphics" do życia, umożliwiając tworzenie wykresów w sposób logiczny i intuicyjny. Dzięki ggplot2, skomplikowane analizy danych mogą być łatwo przedstawione w formie atrakcyjnych grafik.

📈 Plots.jl: Jest to uniwersalna biblioteka wizualizacyjna w języku Julia, która oferuje intuicyjne API do tworzenia różnorodnych wykresów. Dzięki Plots.jl możesz szybko tworzyć wykresy o różnej złożoności, od prostych diagramów słupkowych po zaawansowane wizualizacje 3D.

Sorry, ale też musimy wspomnieć o SORA 😅

A właściwie o tym, czym jest generatywne AI❓❓❓

Ogólnie rzecz biorąc, można powiedzieć, że generatywne AI to po prostu gałąź sztucznej inteligencji i uczenia maszynowego, na podstawie której maszyny są zdolne do generowania nowych, autentycznych treści na podstawie istniejących danych. Jednak należy podkreślić tu pewną wyjątkowość generatywnego AI. Generatywne modele AI, poprzez wykorzystanie sieci neuronowych, generują zupełnie nowe instancje treści na podstawie identyfikowania wzorców i struktur zawartych w danych, na których zostały wytrenowane. Generatywna sztuczna inteligencja ma także zdolność do generowania różnych typów danych. 🤖📊

Generatywna sztuczna inteligencja to forma AI, która tworzy treści, takie jak tekst, obrazy, a jak się także okazało dzięki ujawnieniu informacji na temat SORA, jest w stanie generować także wysokiej jakości filmy. Proces tworzenia polega na analizie ogromnych zbiorów danych, a następnie na naśladowaniu charakterystycznych cech i wzorców, aby stworzyć coś zupełnie nowego. Dzięki temu generatywne AI ma większe możliwości niż tylko do reprodukcji treści. 🎨🎬

Wśród rodzajów generatywnej sztucznej inteligencji możemy wyróżnić m.in. modele oparte na transformacji, które pozwalają na przeanalizowanie całego kontekstu tekstu wejściowego, umożliwiając generowanie kontekstowo spójnego i składnego tekstu, jednocześnie bawiąc się słowami wedle "własnego uznania", sieci GAN, czyli sieci generatywnych przeciwników, czy VAE (Variational Autoencoders), czyli autoenkodery wariancyjne. 📝✨

W kontekście narzędzi takich jak DALL-E, stable diffusion (które wygenerowało nam tego pieska), czy najnowsza i najbardziej zaawansowana SORA istotą jest fakt, że do tej pory programy potrafiły wykonywać jedynie ściśle określone przez programistę polecenia, nie wykraczając poza granice tego, w jaki sposób zostały napisane, nauczone. To, co prezentuje, na przykład, SORA, daleko wykracza poza nakreśloną przez nas przestrzeń, dzięki mechanizmowi samouczenia. Nasz prompt jest oczywiście instrukcją, jednak niesamowita ilość detali jest już efektem zdolności, jakie posiada model i jakie sam postanawia umieścić, ponieważ na podstawie tego, w jaki sposób został nauczony, uznaje, że będą one odpowiednie w danym kontekście. 🧠🚀