Selecteren met complexe criteria van Pandas.Dataframe

Ik heb bijvoorbeeld een eenvoudige DF:

import pandas as pd
from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9)*10 for x in xrange(10)],
                   'C': [randint(1, 9)*100 for x in xrange(10)]})

Kan ik waarden selecteren van ‘A’ waarvoor overeenkomstige waarden voor ‘B’ groter zijn dan 50, en voor ‘C’ – niet gelijk 900, met behulp van methoden en idioma van Panda’s?


Antwoord 1, Autoriteit 100%

Natuurlijk! SETUP:

>>> import pandas as pd
>>> from random import randint
>>> df = pd.DataFrame({'A': [randint(1, 9) for x in range(10)],
                   'B': [randint(1, 9)*10 for x in range(10)],
                   'C': [randint(1, 9)*100 for x in range(10)]})
>>> df
   A   B    C
0  9  40  300
1  9  70  700
2  5  70  900
3  8  80  900
4  7  50  200
5  9  30  900
6  2  80  700
7  2  80  400
8  5  80  300
9  7  70  800

Wij kunnen kolombewerkingen toepassen en Boolean Series-objecten krijgen:

>>> df["B"] > 50
0    False
1     True
2     True
3     True
4    False
5    False
6     True
7     True
8     True
9     True
Name: B
>>> (df["B"] > 50) & (df["C"] == 900)
0    False
1    False
2     True
3     True
4    False
5    False
6    False
7    False
8    False
9    False

[Update, om over te schakelen naar nieuwe stijl .loc]:

En dan kunnen we deze gebruiken om in het object te indexeren. Voor leestoegang kunt u indices ketenen:

>>> df["A"][(df["B"] > 50) & (df["C"] == 900)]
2    5
3    8
Name: A, dtype: int64

maar je kunt jezelf in de problemen brengen vanwege het verschil tussen een weergave en een kopie die dit doet voor schrijftoegang. U kunt in plaats daarvan .locgebruiken:

>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"]
2    5
3    8
Name: A, dtype: int64
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"].values
array([5, 8], dtype=int64)
>>> df.loc[(df["B"] > 50) & (df["C"] == 900), "A"] *= 1000
>>> df
      A   B    C
0     9  40  300
1     9  70  700
2  5000  70  900
3  8000  80  900
4     7  50  200
5     9  30  900
6     2  80  700
7     2  80  400
8     5  80  300
9     7  70  800

Merk op dat ik per ongeluk == 900heb getypt en niet != 900, of ~(df["C"] == 900), maar ik ben te lui om het op te lossen. Oefening voor de lezer. :^)


Antwoord 2, autoriteit 15%

Een andere oplossing is het gebruik van de querymethode:

import pandas as pd
from random import randint
df = pd.DataFrame({'A': [randint(1, 9) for x in xrange(10)],
                   'B': [randint(1, 9) * 10 for x in xrange(10)],
                   'C': [randint(1, 9) * 100 for x in xrange(10)]})
print df
   A   B    C
0  7  20  300
1  7  80  700
2  4  90  100
3  4  30  900
4  7  80  200
5  7  60  800
6  3  80  900
7  9  40  100
8  6  40  100
9  3  10  600
print df.query('B > 50 and C != 900')
   A   B    C
1  7  80  700
2  4  90  100
4  7  80  200
5  7  60  800

Als u nu de geretourneerde waarden in kolom A wilt wijzigen, kunt u hun index opslaan:

my_query_index = df.query('B > 50 & C != 900').index

….en gebruik .ilocom ze te wijzigen, bijvoorbeeld:

df.iloc[my_query_index, 0] = 5000
print df
      A   B    C
0     7  20  300
1  5000  80  700
2  5000  90  100
3     4  30  900
4  5000  80  200
5  5000  60  800
6     3  80  900
7     9  40  100
8     6  40  100
9     3  10  600

Antwoord 3, autoriteit 6%

En vergeet niet om haakjes te gebruiken!

Houd er rekening mee dat de operator &voorrang heeft op operatoren zoals >of <enz. Daarom

4 < 5 & 6 > 4

evalueert tot False. Daarom moet je, als je pd.locgebruikt, haakjes om je logische uitspraken zetten, anders krijg je een foutmelding. Doe daarom:

df.loc[(df['A'] > 10) & (df['B'] < 15)]

in plaats van

df.loc[df['A'] > 10 & df['B'] < 15]

wat zou resulteren in

TypeError: kan een dtyped [float64] array niet vergelijken met een scalaire waarde van het type [bool]


Antwoord 4, autoriteit 2%

Je kunt panda’s gebruiken, het heeft een aantal ingebouwde functies ter vergelijking. Dus als u waarden van “A” wilt selecteren waaraan wordt voldaan door de voorwaarden van “B” en “C” (ervan uitgaande dat u een DataFrame panda-object terug wilt)

df[['A']][df.B.gt(50) & df.C.ne(900)]

df[['A']]geeft u terug kolom A in dataframe-indeling.

Panda’s ‘GT’-functie retourneert de posities van kolom B die groter zijn dan 50 en’ NE ‘zal de posities retourneren die niet gelijk zijn aan 900.

Other episodes