Exploratory Data Analysis v R: Nástroje a tipy pre úspešnú analýzu

base R

Ak potrebujeme zistiť rozmery našich dát, môžeme použiť funkciu dim():

dim(data)
#> [1] 12488    16

Tá nám vráti počet riadkov a stĺpcov, v tomto prípade 12 488 riadkov a 16 stĺpcov.

Ak chceme vidieť aj náhľad a dátový typ stĺpcov, máme k dispozícii funkciu str():

str(data)
#> sf [12,488 × 16] (S3: sf/tbl_df/tbl/data.frame)
#>  $ name_nsi         : chr [1:12488] "Štúrovo" "Štúrovo" "Štúrovo" "Štúrovo" ...
#>  $ price            : int [1:12488] 107000 105000 82000 102000 95000 82000 74900 64900 83000 96500 ...
#>  $ index            : num [1:12488] 8.3 8.25 8.25 8.25 8.25 8.25 8.25 8.25 8.25 8.25 ...
#>  $ environment      : num [1:12488] 9.1 9.1 9.1 9.1 9.1 9.1 9.1 9.1 9.1 9.1 ...
#>  $ quality_of_living: num [1:12488] 7.4 7.4 7.4 7.4 7.4 7.4 7.4 7.4 7.4 7.4 ...
#>  $ safety           : num [1:12488] 9.5 9.5 9.5 9.5 9.5 9.5 9.5 9.5 9.5 9.5 ...
#>  $ transport        : num [1:12488] 7 7 7 7 7 7 7 7 7 7 ...
#>  $ services         : num [1:12488] 9.3 9.3 9.3 9.3 9.3 9.3 9.3 9.3 9.3 9.3 ...
#>  $ relax            : num [1:12488] 7 7 7 7 7 7 7 7 7 7 ...
#>  $ condition        : chr [1:12488] "Partial reconstruction" "Complete reconstruction" "Partial reconstruction" "Complete reconstruction" ...
#>  $ area             : num [1:12488] 40 76 63 76.5 63 ...
#>  $ provision        : num [1:12488] 0 1 0 0 1 0 1 0 0 0 ...
#>  $ certificate      : chr [1:12488] NA "C" NA "none" ...
#>  $ type             : chr [1:12488] "1-room apartment" "3-room apartment" "2-room apartment" "3-room apartment" ...
#>  $ rooms            : num [1:12488] 1 3 2 3 2 2 2 2 2 3 ...
#>  $ district         : chr [1:12488] "Nové Zámky" "Nové Zámky" "Nové Zámky" "Nové Zámky" ...
#>  - attr(*, "sf_column")= chr "geometry"
#>  - attr(*, "agr")= Factor w/ 3 levels "constant","aggregate",..: NA NA NA NA NA NA NA NA NA NA ...
#>   ..- attr(*, "names")= chr [1:16] "name_nsi" "price" "index" "environment" ...

Tieto funkcie nám však nepovedia nič o rozložení dát, či a koľko máme chýbajúcich záznamov. Najzákladnejšia možnosť, ako získať popis premenných nášho dátového setu je funkcia summary():

summary(data)
#>    name_nsi             price            index        environment    
#>  Length:12488       Min.   : 22997   Min.   :3.300   Min.   : 2.700  
#>  Class :character   1st Qu.: 99990   1st Qu.:7.513   1st Qu.: 7.474  
#>  Mode  :character   Median :135000   Median :8.020   Median : 7.817  
#>                     Mean   :149723   Mean   :7.842   Mean   : 7.888  
#>                     3rd Qu.:180000   3rd Qu.:8.344   3rd Qu.: 8.386  
#>                     Max.   :600000   Max.   :9.500   Max.   :10.000  
#>                                      NA's   :2887    NA's   :2921    
#>  quality_of_living     safety         transport         services     
#>  Min.   : 2.700    Min.   : 2.000   Min.   : 2.000   Min.   : 2.000  
#>  1st Qu.: 8.372    1st Qu.: 7.661   1st Qu.: 7.900   1st Qu.: 7.375  
#>  Median : 8.863    Median : 8.600   Median : 8.600   Median : 8.251  
#>  Mean   : 8.743    Mean   : 8.155   Mean   : 8.355   Mean   : 7.981  
#>  3rd Qu.: 9.201    3rd Qu.: 9.488   3rd Qu.: 8.943   3rd Qu.: 8.800  
#>  Max.   :10.000    Max.   :10.000   Max.   :10.000   Max.   :10.000  
#>  NA's   :2921      NA's   :2921     NA's   :2921     NA's   :2921    
#>      relax        condition              area       provision    
#>  Min.   :2.000   Length:12488       Min.   :  3   Min.   :0.000  
#>  1st Qu.:4.867   Class :character   1st Qu.: 51   1st Qu.:0.000  
#>  Median :5.883   Mode  :character   Median : 63   Median :0.000  
#>  Mean   :5.774                      Mean   : 63   Mean   :0.163  
#>  3rd Qu.:6.750                      3rd Qu.: 74   3rd Qu.:0.000  
#>  Max.   :9.500                      Max.   :238   Max.   :1.000  
#>  NA's   :2921                                                    
#>  certificate            type               rooms         district        
#>  Length:12488       Length:12488       Min.   :1.000   Length:12488      
#>  Class :character   Class :character   1st Qu.:2.000   Class :character  
#>  Mode  :character   Mode  :character   Median :2.000   Mode  :character  
#>                                        Mean   :2.407                     
#>                                        3rd Qu.:3.000                     
#>                                        Max.   :5.000                     
#> 

Táto funkcia vracia niekoľko užitočných charakteristík ako minimálna hodnota, prvý a tretí kvartil, priemer, medián, maximálna hodnota a počet chýbajúcich hodnôt. Žiaľ, toto platí len pre kvantitatívne premenné. Pri textových je uvedený len počet riadkov. Rovnako nie je explicitne uvedený počet riadkov a stĺpcov. Všetky predchádzajúce funkcie majú však výhodu, že sú súčasťou základného R a netreba pre ne inštalovať žiadne knižnice. Ak sa však chceme dozvedieť o našich dátach viac, musíme hľadať iné možnosti. Buď to môžu byť vlastné nadefinované funkcie, ktoré si môžeme uložiť a používať v rôznych projektoch, alebo siahneme po externých knižniciach od iných autorov.

dplyr

data |> glimpse()
#> Rows: 12,488
#> Columns: 16
#> $ name_nsi          <chr> "Štúrovo", "Štúrovo", "Štúrovo", "Štúrovo", "Štúrovo…
#> $ price             <int> 107000, 105000, 82000, 102000, 95000, 82000, 74900, …
#> $ index             <dbl> 8.30, 8.25, 8.25, 8.25, 8.25, 8.25, 8.25, 8.25, 8.25…
#> $ environment       <dbl> 9.1, 9.1, 9.1, 9.1, 9.1, 9.1, 9.1, 9.1, 9.1, 9.1, 9.…
#> $ quality_of_living <dbl> 7.4, 7.4, 7.4, 7.4, 7.4, 7.4, 7.4, 7.4, 7.4, 7.4, 7.…
#> $ safety            <dbl> 9.5, 9.5, 9.5, 9.5, 9.5, 9.5, 9.5, 9.5, 9.5, 9.5, 9.…
#> $ transport         <dbl> 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7…
#> $ services          <dbl> 9.3, 9.3, 9.3, 9.3, 9.3, 9.3, 9.3, 9.3, 9.3, 9.3, 9.…
#> $ relax             <dbl> 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7, 7…
#> $ condition         <chr> "Partial reconstruction", "Complete reconstruction",…
#> $ area              <dbl> 40.00, 76.00, 63.00, 76.50, 63.00, 63.45, 64.00, 57.…
#> $ provision         <dbl> 0, 1, 0, 0, 1, 0, 1, 0, 0, 0, 0, 0, 1, 0, 0, 0, 0, 0…
#> $ certificate       <chr> NA, "C", NA, "none", "none", NA, NA, "none", NA, NA,…
#> $ type              <chr> "1-room apartment", "3-room apartment", "2-room apar…
#> $ rooms             <dbl> 1, 3, 2, 3, 2, 2, 2, 2, 2, 3, 3, 2, 3, 2, 3, 3, 3, 2…
#> $ district          <chr> "Nové Zámky", "Nové Zámky", "Nové Zámky", "Nové Zámk…

Dplyr je knižnica primárne určená na manipuláciu s dátami. Obsahuje však aj šikovnú funkciu glimpse(), ktorá má veľmi podobný výstup ako str(). Jej výhodou, okrem čitateľnejšieho formátu, je napr. to, že ak do nej zadáme parameter “0”, tak nám vráti štruktúru dát a typ stĺpcov avšak bez ich hodnôt. Toto môže byť výhodné, ak používame napr. chatbotov ako ChatGPT ale máme dôverné dáta.

data |> glimpse(0)
#> Rows: 12,488
#> Columns: 16
#> $ name_nsi          <chr> …
#> $ price             <int> …
#> $ index             <dbl> …
#> $ environment       <dbl> …
#> $ quality_of_living <dbl> …
#> $ safety            <dbl> …
#> $ transport         <dbl> …
#> $ services          <dbl> …
#> $ relax             <dbl> …
#> $ condition         <chr> …
#> $ area              <dbl> …
#> $ provision         <dbl> …
#> $ certificate       <chr> …
#> $ type              <chr> …
#> $ rooms             <dbl> …
#> $ district          <chr> …

skimr

Jednou z mojich obľúbených knižních na EDA je skimr a najmä funkcia skim():

skim(data)

Táto funkcia vracia v tomto prípade tri prehladové tabuľky:

• Prvá je sumár s názvom objektu, počtom riadkov a stĺpcov, a z toho počet numerických a textových.
• Druhá obsahuje prehľad textových stĺpcov a ich vlastnosti, ako počet chýbajúcich záznamov, najmenší a najčastejší výskyt a počet unikátnych hodnôt. Tieto údaje sú dôležité, nielen kvôli “reasonability check” kontrole a prvotnému zhodnoteniu dátovej kvality, ale aj kvôli tomu, aby sme vedeli už dopredu plánovať stratégiu, ako pracovať s kardinalitou jednotlivých premenných.
• Posledná tabuľka nám dáva podobné hodnoty ako funkcia summary pre číselné stĺpce, avšak navyše dostávame aj štandardnú odchýlku a histogram s rozložením hodnôt.

Ak by sme mali aj iný typ hodnôt, napríklad dátum, mali by sme prehľad aj preň.

summarytools

Summarytools je knižnica, ktorá umožňuje skutočne detailnú EDA. Má množstvo funkcií, ktoré sa dajú rôzne prispôsobovať našim potrebám. Prejdeme si niekoľko z nich.

dfSummary

Funkcia dfSummary() vytvorí súhrnnú tabuľku so štatistikami, frekvenciami a grafmi pre všetky premenné. Zobrazené informácie sú špecifické pre typ premennej (číselné premenné majú iné metriky ako napr. textové alebo dátumové).

print(dfSummary(data,
          graph.col = TRUE,
          graph.magnif = 0.75,
          style = "grid",
          plain.ascii = FALSE, 
          result = "asis",
          valid.col = FALSE), method = 'render', table.classes = 'st-small')

Data Frame Summary

data

Dimensions: 12488 x 16
Duplicates: 547

No	Variable	Stats / Values	Freqs (% of Valid)	Graph	Missing
1	name_nsi [character]	1. Bratislava – mestská časť 2. Bratislava – mestská časť 3. Bratislava – mestská časť 4. Nitra 5. Žilina 6. Nové Zámky 7. Trnava 8. Banská Bystrica 9. Bratislava – mestská časť 10. Trenčín [ 193 others ]	831 ( 6.7% ) 546 ( 4.4% ) 540 ( 4.3% ) 368 ( 2.9% ) 365 ( 2.9% ) 340 ( 2.7% ) 334 ( 2.7% ) 319 ( 2.6% ) 299 ( 2.4% ) 281 ( 2.3% ) 8265 ( 66.2% )		0 (0.0%)
2	price [integer]	Mean (sd) : 149723.1 (72018.2) min ≤ med ≤ max: 22997 ≤ 135000 ≤ 6e+05 IQR (CV) : 80010 (0.5)	2129 distinct values		0 (0.0%)
3	index [numeric]	Mean (sd) : 7.8 (0.8) min ≤ med ≤ max: 3.3 ≤ 8 ≤ 9.5 IQR (CV) : 0.8 (0.1)	118 distinct values		2887 (23.1%)
4	environment [numeric]	Mean (sd) : 7.9 (0.8) min ≤ med ≤ max: 2.7 ≤ 7.8 ≤ 10 IQR (CV) : 0.9 (0.1)	120 distinct values		2921 (23.4%)
5	quality_of_living [numeric]	Mean (sd) : 8.7 (0.7) min ≤ med ≤ max: 2.7 ≤ 8.9 ≤ 10 IQR (CV) : 0.8 (0.1)	112 distinct values		2921 (23.4%)
6	safety [numeric]	Mean (sd) : 8.2 (1.7) min ≤ med ≤ max: 2 ≤ 8.6 ≤ 10 IQR (CV) : 1.8 (0.2)	120 distinct values		2921 (23.4%)
7	transport [numeric]	Mean (sd) : 8.4 (1.2) min ≤ med ≤ max: 2 ≤ 8.6 ≤ 10 IQR (CV) : 1 (0.1)	135 distinct values		2921 (23.4%)
8	services [numeric]	Mean (sd) : 8 (1.3) min ≤ med ≤ max: 2 ≤ 8.3 ≤ 10 IQR (CV) : 1.4 (0.2)	142 distinct values		2921 (23.4%)
9	relax [numeric]	Mean (sd) : 5.8 (1.5) min ≤ med ≤ max: 2 ≤ 5.9 ≤ 9.5 IQR (CV) : 1.9 (0.3)	142 distinct values		2921 (23.4%)
10	condition [character]	1. Complete reconstruction 2. Development project 3. New building 4. Original condition 5. Partial reconstruction 6. Under construction	3773 ( 30.2% ) 54 ( 0.4% ) 3057 ( 24.5% ) 1854 ( 14.8% ) 3439 ( 27.5% ) 308 ( 2.5% )		3 (0.0%)
11	area [numeric]	Mean (sd) : 63 (20.4) min ≤ med ≤ max: 3 ≤ 63 ≤ 238 IQR (CV) : 23 (0.3)	2270 distinct values		0 (0.0%)
12	provision [numeric]	Min : 0 Mean : 0.2 Max : 1	0 : 10452 ( 83.7% ) 1 : 2036 ( 16.3% )		0 (0.0%)
13	certificate [character]	1. A 2. B 3. C 4. D 5. E 6. F 7. G 8. none	1115 ( 20.7% ) 884 ( 16.4% ) 141 ( 2.6% ) 20 ( 0.4% ) 7 ( 0.1% ) 2 ( 0.0% ) 63 ( 1.2% ) 3150 ( 58.5% )		7106 (56.9%)
14	type [character]	1. 1-room apartment 2. 2-room apartment 3. 3-room apartment 4. 4-room apartment 5. 5 or more room apartment 6. Studio 7. Two-room apartment	1565 ( 12.5% ) 4605 ( 36.9% ) 4960 ( 39.7% ) 921 ( 7.4% ) 55 ( 0.4% ) 322 ( 2.6% ) 60 ( 0.5% )		0 (0.0%)
15	rooms [numeric]	Mean (sd) : 2.4 (0.8) min ≤ med ≤ max: 1 ≤ 2 ≤ 5 IQR (CV) : 1 (0.4)	1 : 1887 ( 15.1% ) 2 : 4665 ( 37.4% ) 3 : 4960 ( 39.7% ) 4 : 921 ( 7.4% ) 5 : 55 ( 0.4% )		0 (0.0%)
16	district [character]	1. Bratislava II 2. Bratislava IV 3. Bratislava V 4. Bratislava I 5. Senec 6. Bratislava III 7. Dunajská Streda 8. Nitra 9. Nové Zámky 10. Žilina [ 62 others ]	1156 ( 9.3% ) 660 ( 5.3% ) 564 ( 4.5% ) 540 ( 4.3% ) 486 ( 3.9% ) 476 ( 3.8% ) 438 ( 3.5% ) 402 ( 3.2% ) 396 ( 3.2% ) 382 ( 3.1% ) 6988 ( 56.0% )		0 (0.0%)

Generated by summarytools 1.0.1 (R version 4.4.1)
2024-11-25

print(descr(data,
      headings = FALSE,
      result = "asis",
      plain.ascii = FALSE) , method = 'render', table.classes = 'st-small')

print(freq(data |> select(-name_nsi, -district), 
     plain.ascii = FALSE, 
     style = "rmarkdown",
     result = "asis"), method = 'render', table.classes = 'st-small')

print(ctable(x = data$condition, 
       y = data$certificate, 
       prop = "n",
       totals   = FALSE, 
       headings = FALSE,
       result = "asis",
      plain.ascii = FALSE), method = 'render', table.classes = 'st-small')

print(stby(data,
     INDICES = data$condition,
     FUN = descr, 
     stats = "fivenum", 
     transpose = TRUE,
     result = "asis",
      plain.ascii = FALSE), method = 'render', table.classes = 'st-small')

dlookr

dlookr je knižnica určená pre komplexnú diagnostiku dát a ich prípravu. Obsahuje funkcie, ktoré vám pomôžu analyzovať kvalitu dát, identifikovať chýbajúce hodnoty, extrémne hodnoty (outliers) a štatistické anomálie. Je vhodná najmä pri príprave dát pre ďalšie analýzy alebo modelovanie. Teraz sa zameriame na funkcie pre potreby EDA, ale určite treba aspoň spomenúť napr.:

• imputate_na(), ktorá ponúka rôzne spôsoby nahradenia chýbajúcich hodnôt.
• imputate_outlier(), ktorá nahradí extrémne hodnoty podľa zvoleného spôsobu.
• binning() a binning_by(), ktoré transformuje numerickú premennú na kategorickú tým, že vytvorí tzv. bins.

diagnose(data)
#> # A tibble: 16 × 6
#>    variables        types missing_count missing_percent unique_count unique_rate
#>    <chr>            <chr>         <int>           <dbl>        <int>       <dbl>
#>  1 name_nsi         char…             0          0               203    0.0163  
#>  2 price            inte…             0          0              2129    0.170   
#>  3 index            nume…          2887         23.1             122    0.00977 
#>  4 environment      nume…          2921         23.4             122    0.00977 
#>  5 quality_of_livi… nume…          2921         23.4             114    0.00913 
#>  6 safety           nume…          2921         23.4             122    0.00977 
#>  7 transport        nume…          2921         23.4             137    0.0110  
#>  8 services         nume…          2921         23.4             143    0.0115  
#>  9 relax            nume…          2921         23.4             143    0.0115  
#> 10 condition        char…             3          0.0240            7    0.000561
#> 11 area             nume…             0          0              2270    0.182   
#> 12 provision        nume…             0          0                 2    0.000160
#> 13 certificate      char…          7106         56.9               9    0.000721
#> 14 type             char…             0          0                 7    0.000561
#> 15 rooms            nume…             0          0                 5    0.000400
#> 16 district         char…             0          0                72    0.00577

diagnose_numeric(data)
#> # A tibble: 11 × 10
#>    variables         min     Q1    mean median     Q3    max  zero minus outlier
#>    <chr>           <dbl>  <dbl>   <dbl>  <dbl>  <dbl>  <dbl> <int> <int>   <int>
#>  1 price          2.30e4 1.00e5 1.50e+5 1.35e5 1.80e5 6   e5     0     0     456
#>  2 index          3.3 e0 7.51e0 7.84e+0 8.02e0 8.34e0 9.5 e0     0     0     415
#>  3 environment    2.7 e0 7.47e0 7.89e+0 7.82e0 8.39e0 1   e1     0     0     251
#>  4 quality_of_li… 2.7 e0 8.37e0 8.74e+0 8.86e0 9.20e0 1   e1     0     0     245
#>  5 safety         2   e0 7.66e0 8.15e+0 8.6 e0 9.49e0 1   e1     0     0     803
#>  6 transport      2   e0 7.9 e0 8.35e+0 8.6 e0 8.94e0 1   e1     0     0     410
#>  7 services       2   e0 7.38e0 7.98e+0 8.25e0 8.8 e0 1   e1     0     0     377
#>  8 relax          2   e0 4.87e0 5.77e+0 5.88e0 6.75e0 9.5 e0     0     0      75
#>  9 area           3   e0 5.1 e1 6.30e+1 6.3 e1 7.4 e1 2.38e2     0     0     309
#> 10 provision      0      0      1.63e-1 0      0      1   e0 10452     0    2036
#> 11 rooms          1   e0 2   e0 2.41e+0 2   e0 3   e0 5   e0     0     0      55

diagnose_category(data, top = 3)
#> # A tibble: 15 × 6
#>    variables   levels                                    N  freq ratio  rank
#>    <chr>       <chr>                                 <int> <int> <dbl> <int>
#>  1 name_nsi    Bratislava - mestská časť Ružinov     12488   831  6.65     1
#>  2 name_nsi    Bratislava - mestská časť Petržalka   12488   546  4.37     2
#>  3 name_nsi    Bratislava - mestská časť Staré Mesto 12488   540  4.32     3
#>  4 condition   Complete reconstruction               12488  3773 30.2      1
#>  5 condition   Partial reconstruction                12488  3439 27.5      2
#>  6 condition   New building                          12488  3057 24.5      3
#>  7 certificate <NA>                                  12488  7106 56.9      1
#>  8 certificate none                                  12488  3150 25.2      2
#>  9 certificate A                                     12488  1115  8.93     3
#> 10 type        3-room apartment                      12488  4960 39.7      1
#> 11 type        2-room apartment                      12488  4605 36.9      2
#> 12 type        1-room apartment                      12488  1565 12.5      3
#> 13 district    Bratislava II                         12488  1156  9.26     1
#> 14 district    Bratislava IV                         12488   660  5.29     2
#> 15 district    Bratislava V                          12488   564  4.52     3

diagnose_outlier(data |> select(-rooms, -provision))
#> # A tibble: 9 × 6
#>   variables     outliers_cnt outliers_ratio outliers_mean with_mean without_mean
#>   <chr>                <int>          <dbl>         <dbl>     <dbl>        <dbl>
#> 1 price                  456          3.65      378694.   149723.      141045.  
#> 2 index                  415          3.32           5.30      7.84         7.96
#> 3 environment            251          2.01           5.57      7.89         7.95
#> 4 quality_of_l…          245          1.96           6.36      8.74         8.81
#> 5 safety                 803          6.43           3.63      8.15         8.57
#> 6 transport              410          3.28           4.64      8.35         8.52
#> 7 services               377          3.02           3.96      7.98         8.15
#> 8 relax                   75          0.601          2         5.77         5.80
#> 9 area                   309          2.47         130.       63.0         61.3

data |> 
  plot_outlier(diagnose_outlier(data |> select(price, area)) |> 
                 filter(outliers_ratio >= 0.5) |> 
                 select(variables) |> 
                 unlist())

describe(data |> select(-rooms, -provision))
#> # A tibble: 9 × 26
#>   described_variables     n    na      mean        sd   se_mean     IQR skewness
#>   <chr>               <int> <int>     <dbl>     <dbl>     <dbl>   <dbl>    <dbl>
#> 1 price               12488     0 149723.   72018.    644.      8.00e+4    1.65 
#> 2 index                9601  2887      7.84     0.812   0.00828 8.31e-1   -1.71 
#> 3 environment          9567  2921      7.89     0.765   0.00782 9.12e-1   -0.845
#> 4 quality_of_living    9567  2921      8.74     0.703   0.00719 8.29e-1   -1.57 
#> 5 safety               9567  2921      8.15     1.75    0.0179  1.83e+0   -1.55 
#> 6 transport            9567  2921      8.35     1.17    0.0120  1.04e+0   -2.04 
#> 7 services             9567  2921      7.98     1.30    0.0133  1.43e+0   -1.41 
#> 8 relax                9567  2921      5.77     1.47    0.0150  1.88e+0   -0.201
#> 9 area                12488     0     63.0     20.4     0.183   2.3 e+1    1.13 
#> # ℹ 18 more variables: kurtosis <dbl>, p00 <dbl>, p01 <dbl>, p05 <dbl>,
#> #   p10 <dbl>, p20 <dbl>, p25 <dbl>, p30 <dbl>, p40 <dbl>, p50 <dbl>,
#> #   p60 <dbl>, p70 <dbl>, p75 <dbl>, p80 <dbl>, p90 <dbl>, p95 <dbl>,
#> #   p99 <dbl>, p100 <dbl>

normality(data |> select(-rooms, -provision))
#> # A tibble: 9 × 4
#>   vars              statistic  p_value sample
#>   <chr>                 <dbl>    <dbl>  <dbl>
#> 1 price                 0.885 1.62e-51   5000
#> 2 index                 0.879 1.03e-47   5000
#> 3 environment           0.956 1.71e-32   5000
#> 4 quality_of_living     0.897 5.00e-45   5000
#> 5 safety                0.836 9.95e-53   5000
#> 6 transport             0.839 1.96e-52   5000
#> 7 services              0.897 4.68e-45   5000
#> 8 relax                 0.984 1.78e-20   5000
#> 9 area                  0.928 6.07e-44   5000

plot_normality(data |> select(safety, relax))

corrplot

Corrplot je pravdepodobne najznámejšia knižnica na korelačnú analýzu v R. Veľmi jednoducho sa používa a poskytuje bohaté možnosti, keďže má asi 50 parametrov. Vo väčšine prípadov môžeme získať graf korelačnej matice iba s jedným riadkom kódu.

m <- cor(data |> select(where(is.numeric)) |> select(-rooms, -provision) |> drop_na())

corrplot.mixed(m, order = 'AOE')

GGally

GGally je nadstavba nad ggplot2, ktorá umožňuje vytvárať párové grafy (pair plots), ktoré sú užitočné na identifikáciu vzťahov medzi rôznymi premennými. Zvlášť praktická je pri analýze veľkých datasetov s viacerými numerickými premennými.

ggpairs(data |> select(where(is.numeric)) |> select(-rooms, -provision) |> drop_na())

ggpairs(data |> select(price, index, area, type) |> filter(type %in% c("1-room apartment", "2-room apartment", "3-room apartment")) |> drop_na(), 
        ggplot2::aes(colour = type))

PerformanceAnalytics

PerformanceAnalytics je knižnica zameraná na ekonometrickú analýzu výkonnosti a rizík, pričom sa často využíva najmä vo finančnom sektore. Obsahuje rôzne obsiahly balík nástrojov, okrem iného aj na vizualizáciu korelačných matíc. Funkcia chart.Correlation() je veľmi užitočná na vizualizáciu korelácie v podobe párových grafov, ktoré zobrazujú nielen samotnú koreláciu, ale aj rozloženie hodnôt.

chart.Correlation(data |> select(where(is.numeric)) |> select(-rooms, -provision) |> drop_na(), 
                  histogram = TRUE)

correlationfunnel

Correlationfunnel pomáha vizualizovať a analyzovať vzťahy medzi jednotlivými premennými a cieľovou premennou vo forme grafu. Numerické premenné sa konvertujú do kategórií (bins) a tie následne diskrétizuje pomocou procesu one-hot kódovania.

data |> 
  drop_na() |> 
  select(-name_nsi,
         -district) |> 
  mutate(across(where(is.numeric), round, 2)) |> 
  binarize(n_bins = 5, thresh_infreq = 0.01, name_infreq = "OTHER", one_hot = TRUE) |> 
  correlate(`price__-Inf_96100`) |> 
  plot_correlation_funnel()

dlookr

Opäť sa vrátime aj ku knižnici dlookr a tentoraz k funkcii correlate(), ktorá počíta korelačný koeficient medzi dvojicami číselných premenných.

data |> select(where(is.numeric)) |> select(-rooms, -provision) |> drop_na() |> dlookr::correlate() |> mutate(coef_corr = round(coef_corr, 3))
#> # A tibble: 72 × 3
#>    var1              var2  coef_corr
#>    <fct>             <fct>     <dbl>
#>  1 index             price     0.116
#>  2 environment       price    -0.228
#>  3 quality_of_living price     0.193
#>  4 safety            price     0.1  
#>  5 transport         price     0.176
#>  6 services          price     0.178
#>  7 relax             price     0.248
#>  8 area              price     0.534
#>  9 price             index     0.116
#> 10 environment       index     0.125
#> # ℹ 62 more rows

Vizualizovať výsledky môžeme jednoducho pridaním plot().

data |> select(where(is.numeric)) |> select(-rooms, -provision) |> drop_na() |> dlookr::correlate() |> plot()

dlookr

Aj v tejto sekcii ponúka dlookr funkcie, ktoré vieme využiť.

Prvou je diagnose_paged_report(), druhá je špecificky určená na EDA – diagnose_paged_report() a tretia transformation_paged_report(), ktorá obsahuje imputáciu chýbajúcich hodnôt a outlierov, transformácie rozdelenia a binning.

DataExplorer

DataExplorer je knižnica, ktorá umožnuje jednoducho vytvárať statické reporty s prehľadmi dát. Obsahuje funkcie na automatickú analýzu a vizualizáciu dát, čo môže byť užitočné pri vytváraní EDA reportov pre tím alebo klientov.

SmartEDA

SmartEDA je ďalšia knižnica určená na rýchlu a jednoduchú tvorbu reportov o dátach. Poskytuje rôzne funkcie na sumarizáciu dát a ich distribúcie a dokáže generovať automatické reporty vo forme PDF alebo HTML.

GWalkR

GWalkR poskytuje rozhranie na vizualizáciu dát v R prostredníctvom interaktívnych grafov a tabuliek. Pomocou tejto knižnice je možné vytvoriť dynamické analýzy s drag-and-drop funkciounalitou. Dizajnovo je inšpirovaná Tableau-om.

esquisse

Esquisse je nástroj na vizualizáciu dát s intuitívnym drag-and-drop rozhraním postavený na knižnici ggplot2. Používateľom umožňuje vytvárať grafy bez nutnosti písania kódu, čo je ideálne pre začiatočníkov. Navyše umožnuje kopírovať vygenerovaný kód a ďalej ho použiť v analýze.

explore

Explore poskytuje jednoduché rozhranie pre dynamickú analýzu dát pomocou Shiny. Používateľ môže interaktívne prechádzať a analyzovať jednotlivé premenné, preskúmať ich vzťah k cieľovej premennej, vytvoriť rozhodovací strom alebo vytvoriť plne automatizovaný prehľad všetkých premenných.

radiant

Radiant je komplexný nástroj na exploratívnu analýzu, ktorý umožňuje prístup k rôznym analytickým metódam prostredníctvom Shiny. Používateľ môže jednoducho analyzovať dáta, vytvárať grafy a exportovať výsledky v rôznych formátoch, ktoré sú vhodné na ďalšie spracovanie. Používateľ má možnosť pridat vlastný R kód. Primárne je táto knižnica zaneraná na analýzu biznisových dát a na podporu rozhodovania na ich základe.

Je to najkomplexnejší nástroj z nášho zoznamu.

Rôzne knižnice pre rôzne potreby

Každá z prezentovaných knižníc má svoje výhody a použitie závisí od našich potrieb a skúseností s R:

• base R poskytuje základné nástroje bez potreby inštalácie ďalších balíčkov, ideálne na rýchle prehliadnutie dát.
• dplyr a skimr ponúkajú efektívne možnosti na sumarizáciu dát s dôrazom na čitateľnosť a použiteľnosť.
• summarytools umožňuje detailnú analýzu s pekne štruktúrovanými výstupmi, ktoré sú vhodné pre prezentácie a reporty.
• DataExplorer a SmartEDA nám umožňujú automatizovať časť práce s EDA, čím šetríme čas pri vytváraní rozsiahlych reportov.
• corrplot, GGally, PerformanceAnalytics a correlationfunnel ponúkajú rôzne možnosti na analýzu vzťahov medzi premennými pomocou vizualizácií.

Využitie v praxi

Každý z týchto nástrojov sa môže hodiť v rôznych fázach projektu. Pri prvotnom skúmaní dát môžeme začať so základnými funkciami na zistenie rozmerov a štruktúry dát. Ako sa hlbšie ponárame do údajov, môžeme využiť knižnice ako skimr alebo summarytools pre podrobnejší prehľad, či už hľadáme anomálie, chýbajúce hodnoty, alebo outliery.

Korelačné analýzy pomocou knižníc ako corrplot alebo PerformanceAnalytics, nám pomáhajú porozumieť vzťahom medzi premennými, čo je veľmi užitočné pri identifikovaní dôležitých faktorov, ktoré by mohli ovplyvniť naše modely alebo výsledky analýzy.

Automatizované reporty pomocou DataExplorer alebo SmartEDA nám šetria veľa času, keď potrebujeme opakovane analyzovať rôzne dataset-y alebo pri zdieľaní informácií s kolegami či klientmi, ktorí nemusia byť oboznámení s R, ale ocenia prehľadné a čitateľné reporty.

Vizualizácie a interaktivita

Vizualizácia je neoddeliteľnou súčasťou EDA, a práve preto sme zahrnuli knižnice ako GGally, esquisse alebo PerformanceAnalytics, ktoré poskytujú rôzne možnosti od jednoduchých párových grafov až po sofistikované korelačné mapy. Interaktívne vizualizácie v Shiny aplikáciách umožňujú nielen lepšie pochopiť vzťahy v dátach, ale tiež prezentovať tieto informácie iným osobám v prehľadnej forme, čím zjednodušujú diskusie a rozhodovanie.

Aký prístup zvoliť?

Pre začiatočníkov je dôležité začať s jednoduchými funkciami a krok po kroku sa oboznamovať s nástrojmi, ktoré im R ponúka. Základné funkcie v R sú výborným začiatkom. Ak už máme určitý základ a chceme urobiť EDA efektívnejšie a podrobnejšie, knižnice ako dplyr, skimr, alebo summarytools ponúkajú výkonné a ľahko použiteľné nástroje. Ak pracujete s veľkými dataset-mi, môžete oceniť knižnice a automatizované nástroje, ktoré šetria čas a zvyšujú efektivitu. Ktorý z nástrojov teda zvoliť? Odpoveď je klasické “to záleží…”. A záleží to na mnohých faktoroch ako osobná preferencia, špecifickosť projektu, typ dát atď. Najlepšie je oboznámiť sa s tými nástrojmi, ktoré nám dávajú najväčší zmysel a následne ich zaradiť do “toolboxu”, ak sa osvedčili.