Načtení dat

Pojďme načíst data do pandas a podívat se na ně

Načtení dat

Než s daty začneme pracovat, musíme si je nejprve načíst.

Základní práce s DataFrame

V Pandas většinou pracujeme s datovou strukturou zvanou DataFrame. Je to tabulková datová struktura a funguje podobně jako tabulka v Excelu nebo v databázi. Můžeme jej považovat za další datový typ vedle slovníků a seznamů. DataFrame obsahuje data ve sloupcích, kde každý sloupec může mít různý datový typ, tedy například číslo, desetinné číslo, řetězec, pravdivostní hodnota a jiné.

Poznámka: Pokud znáš základy objektově orientovaného programování, pak věz, že DataFrame je ve skutečnosti třída a my na jejím základě budeme vytvářet objekty.

Abychom si práci s DataFrame vyzkoušeli, vrátíme se k naší tabulce se seznamem nákupů.

jmeno datum vec cena
Petr 2020-02-05 Prací prášek 399
Ondra 2020-02-08 Savo 80
Petr 2020-02-24 Toaletní papír 65
Libor 2020-03-05 Pivo 124
Petr 2020-03-18 Pytel na odpadky 75
Míša 2020-03-30 Utěrky na nádobí 130
Ondra 2020-04-22 Toaletní papír 120
Míša 2020-05-05 Pečící papír 30
Zuzka 2020-06-05 Savo 80
Pavla 2020-06-13 Máslo 50
Ondra 2020-07-25 Káva 300

Načítání dat

Tabulku výše si můžete stáhnout ve formátu CSV. Důležité je, že si soubor musíš uložit nebo zkopírovat do stejného adresáře, v jakém právě pracuješ ve Visual Studiu! To si ověříš pomocí příkazu dir ve Windows nebo ls v MacOS nebo Linuxu. Tento příkaz ti vypíše obsah aktuální adresáře. V přehledu souborů bys měla vidět soubor nakupy.csv.

Abychom tabulku načetli jako DataFrame, vytvoříme si nový Python skript, importujeme modul pandas a načteme CSV soubor pomocí funkce read_csv().

import pandas
nakupy = pandas.read_csv('nakupy.csv')
print(nakupy)

Poznámka: Modul pandas nabízí obrovské množství možností. Nemusíš si samozřejmě vše pamatovat, protože vše najdeš přehledně popsáno v dokumentaci. Například funkce read_csv je popsána zde. Dokumentaci k samotnému DataFrame najdeš zde.

Funkce read_csv má spoustu nepovinných parametrů, o kterých si můžeme přečíst v dokumentaci. Například se tam dočteme, že pandas standardně nastavuje jako oddělovač sloupců čárku (parametr sep). Protože my většinou používáme středník, budeme muset tento parametr často nastavit. Náš soubor nakupy.csv ale používá čárku, takže nyní nic měnit nemusíš.

Celý DataFrame vypíšeme na obrazovku pomocí funkce print().

    jmeno       datum               vec  cena
0    Petr  2020-02-05      Prací prášek   399
1   Ondra  2020-02-08              Savo    80
2    Petr  2020-02-24    Toaletní papír    65
3   Libor  2020-03-05              Pivo   124
4    Petr  2020-03-18  Pytel na odpadky    75
5    Míša  2020-03-30  Utěrky na nádobí   130
6   Ondra  2020-04-22    Toaletní papír   120
7    Míša  2020-05-05      Pečící papír    30
8   Zuzka  2020-06-05              Savo    80
9   Pavla  2020-06-13             Máslo    50
10  Ondra  2020-07-25              Káva   300

Všimni si, že pandas nám přidal nový sloupec s číslem řádku. Jedná se o index, se kterým budeme později pracovat. Index je hodnota, která identifikuje řádek. V některých případech nemusíme jako index používat číslo řádku, ale můžeme jako index vybrat některý ze sloupců. Obdobnou funkci má v databázích primární klíč. Jako best practice se většinou uvádí, že index by měl být unikátní, i když to pandas (na rozdíl od právě databází) nevyžadují. Mohli bychom si tedy jako index zvolit například sloupec Jmeno, ale tím bychom si zadělávali na problém do budoucna (například v tom, že by práce s DataFrame byla pomalejší).

Pandas nabízí kromě funkce read_csv() také funkci pro čtení formátu JSON read_json() nebo dokonce funkci pro čtení přímo Excelových tabulek read_excel().

Základní informace o tabulce

Jakmile máme tabulku načtenou, budeme o ní chtít vědět nějaké úplně základní údaje. K tomu nám pomůže metoda info(), která vrací souhrnné informace o celé tabulce: názvy sloupců, datové typy, počet neprázdných hodnot atd.

import pandas
nakupy = pandas.read_csv('nakupy.csv')
nakupy.info()
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 11 entries, 0 to 10
Data columns (total 4 columns):
 #   Column  Non-Null Count  Dtype
---  ------  --------------  -----
 0   jmeno   11 non-null     object
 1   datum   11 non-null     object
 2   vec     11 non-null     object
 3   cena    11 non-null     int64
dtypes: int64(1), object(3)
memory usage: 480.0+ bytes

Počet řádků a sloupců můžeme získat z vlastnosti shape:

import pandas
nakupy = pandas.read_csv('nakupy.csv')
print(nakupy.shape)
(11, 4)

Poznámka: Pokud znáš základy objektově orientovaného programování, pak věz, že info je ve skutečnosti funkce třídy DataFrame.

pandas nám vrací výsledky v sekvenci, která se jmenuje tuple. Nám stačí vědět, že si z ní data můžeme načíst stejně jako ze seznamu. Na prvním místě je vždy počet řádků a na druhém počet sloupců. Pokud by nás třeba zajímal jen počet řádků, napíšeme:

print(nakupy.shape[0])
11

Názvy všech sloupců pak z vlastnosti columns:

print(nakupy.columns)
Index(['jmeno', 'datum', 'vec', 'cena'], dtype='object')

Výběr sloupců

V některých případech nás jako první při práci s daty napadne nějak si data zjednodušit. Například budeme chtít v DataFrame vybrat pouze některé sloupce, a to co nás nezajímá, můžeme zahodit.

K tomu použijeme výběr sloupců pomocí hranatých závorek. Zápis připomíná práci se seznamy - hranatou závorku napíšeme přímo za název proměnné, kde máme uložený DataFrame, a do ní vepíšeme název sloupce, který nás zajímá.

print(nakupy['vec'])
0         Prací prášek
1                 Savo
2       Toaletní papír
3                 Pivo
4     Pytel na odpadky
5     Utěrky na nádobí
6       Toaletní papír
7         Pečící papír
8                 Savo
9                Máslo
10                Káva
Name: vec, dtype: object

Zde je důležité říct, že pokud vybíráme pouze jeden sloupec, vrátí se nám takzvaná Série (Series), což je jiný datový typ než DataFrame. Sérii si představme jako jednorozměrnou tabulku.

Pro výběr více sloupců musíme do indexace DataFrame vložit seznam s názvy sloupců.

print(nakupy[['jmeno', 'cena']])
    jmeno  cena
0    Petr   399
1   Ondra    80
2    Petr    65
3   Libor   124
4    Petr    75
5    Míša   130
6   Ondra   120
7    Míša    30
8   Zuzka    80
9   Pavla    50
10  Ondra   300

Tady se nám již vrátil datový typ DataFrame. Tohoto triku můžeme využít, když chceme získat pouze jeden sloupec, ale nechceme ho v datovém typu Série, ale jako DataFrame.

print(nakupy[['vec']])
                 vec
0       Prací prášek
1               Savo
2     Toaletní papír
3               Pivo
4   Pytel na odpadky
5   Utěrky na nádobí
6     Toaletní papír
7       Pečící papír
8               Savo
9              Máslo
10              Káva

Výběr řádků pomocí čísla řádku

Jak už víme, v pandas má každý řádek přiřazený index. Jako index můžeme zvolit některý ze sloupců. Pokud však tabulku načteme bez toho, abychom specifikovali index, pandas nám vytvoří číselný index automaticky. Je to něco podobného jako číslování řádků v Excelu.

K vybrání jednoho konkrétního řádku můžeme použít iloc[]. iloc nám umožní ptát se na konkrétní záznam podobně jako u sekvencí, jsou zde přítomné i hranaté závorky. iloc tedy ve skutečnosti není funkce, ale kromě jiného typu závorek s ní pracujeme jako s funkcí.

Zkusme si zobrazit třeba čtvrtý nákup. Číslujeme tradičně od nuly, jistě tě tedy nepřekvapí, že napíšeme nakupy.iloc[3].

print(nakupy.iloc[3])
jmeno         Libor
datum    2020-03-05
vec            Pivo
cena            124
Name: 3, dtype: object

Všimni si, že když jsme chtěli pouze jeden řádek, vypsal se nám výsledek jinak orientovaný. Výběr jednoho řádku nám vrátí Sérii stejně jako v případě výběru jediného sloupce. Pohled na tento řádek pak máme orientovaný na výšku.

Metoda iloc[] umožňuje pro výběr řádků použít rozsah ve formátu od:do. K tomu používáme dvojtečku. Před dvojtečku píšeme první řádek, který chceme vypsat a za dvojtečku první řádek, který již vy výpisu nebude. Pokud tedy například napíšeme nakupy.iloc[3:5], získáme řádky s indexy 3 a 4, ale už ne řádek s indexem 5.

print(nakupy.iloc[3:5])
   jmeno       datum               vec  cena
3  Libor  2020-03-05              Pivo   124
4   Petr  2020-03-18  Pytel na odpadky    75

Pokud se chceme podívat třeba na první tři řádky, nemusíme před dvojtečku psát 0, stačí napsat iloc[:3].

print(nakupy.iloc[:3])
   jmeno       datum             vec  cena
0   Petr  2020-02-05    Prací prášek   399
1  Ondra  2020-02-08            Savo    80
2   Petr  2020-02-24  Toaletní papír    65

Podobně si můžeme nechat vypsat poslední tři řádky. Pokud víme, že řádků je 10, chceme vypsat řádky od osmého dále. Nyní se nabízí napsat číslo před dvojtečku. Píšeme tam ale 8, protože řádek, jehož číslo je před dvojtečkou, je vždy součástí výpisu.

print(nakupy.iloc[8:])
    jmeno       datum    vec  cena
8   Zuzka  2020-06-05   Savo    80
9   Pavla  2020-06-13  Máslo    50
10  Ondra  2020-07-25   Káva   300

Nevýhodou postupu je, že si musíme předem zjistit, jak kolik řádků máme. U seznamů už ale existoval trik použití záporného čísla. Ten můžeš použít i v pandas. Pokud napíšeš iloc[-3:], získáš též poslední tři řádky.

print(nakupy.iloc[-3:])
    jmeno       datum    vec  cena
8   Zuzka  2020-06-05   Savo    80
9   Pavla  2020-06-13  Máslo    50
10  Ondra  2020-07-25   Káva   300

Začátek a konec jinak

Na prvních a posledních několik řádků se chceme podívat často, hlavně v případě, když moc dobře neznáme strukturu dat. Kromě funkce iloc, z níž se ti možná už začala točit hlava, k tomu ještě můžeme použít funkce head a tail.

print(nakupy.head())
   jmeno       datum               vec  cena
0   Petr  2020-02-05      Prací prášek   399
1  Ondra  2020-02-08              Savo    80
2   Petr  2020-02-24    Toaletní papír    65
3  Libor  2020-03-05              Pivo   124
4   Petr  2020-03-18  Pytel na odpadky    75

Často je užitečné podívat se spíše na konec souboru. Pokud jsou data seřazená podle času, uvidíme na konci souboru nejnovější data, která nás často (např. u kurzu měn nebo akcií) zajímají víc než dávná historie.

print(nakupy.tail())
    jmeno       datum             vec  cena
6   Ondra  2020-04-22  Toaletní papír   120
7    Míša  2020-05-05    Pečící papír    30
8   Zuzka  2020-06-05            Savo    80
9   Pavla  2020-06-13           Máslo    50
10  Ondra  2020-07-25            Káva   300

Výběr řádků a sloupců podle čísla

Kromě řádků si často chceme vybrat jen některé sloupce, protože mnoho tabulek obsahuje spoustu různých informací a ne všechny nás musejí zajímat. Čísla sloupců zadáváme jako druhý parametr funkce iloc.

Pokud chceš například vypsat jména u prvních pět nákupů, jako první parametr napiš :5 a jako druhý 0.

print(nakupy.iloc[:5,0])
0     Petr
1    Ondra
2     Petr
3    Libor
4     Petr
Name: jmeno, dtype: object

U sloupců ale často narazíme na to, že jich chceme několik, ale ony nutně nemusí být vedle sebe. nás u nákupů asi bude nejvíce zajímat jméno a částka. Abychom dali dohromady dvě čísla, která neleží vedle sebe, můžeme použít seznam. Pro prvních pět nákupů tedy jako druhý parametr napíšeme [0,3].

print(nakupy.iloc[:5,[0,3]])
   jmeno  cena
0   Petr   399
1  Ondra    80
2   Petr    65
3  Libor   124
4   Petr    75

Pokud bys chtěla vidět všechny řádky, jako první parametr napiš pouze dvojtečku.

print(nakupy.iloc[:,[0,3]])
    jmeno  cena
0    Petr   399
1   Ondra    80
2    Petr    65
3   Libor   124
4    Petr    75
5    Míša   130
6   Ondra   120
7    Míša    30
8   Zuzka    80
9   Pavla    50
10  Ondra   300