Полное руководство: выбор строк DataFrame по значениям столбцов в Pandas

Фильтрация строк Pandas DataFrame на основе значений столбцов

Для выбора строк из Pandas DataFrame на основе значений столбцов можно использовать несколько методов, включая прямое булево индексирование (df[df.column_name == value]), аксессор loc (df.loc[df.column_name == value]) или метод query (df.query("column_name == some_value")). Эти подходы являются аналогами SQL-предложения WHERE и предоставляют гибкие способы фильтрации DataFrame на основе конкретных условий.

Содержание

• Базовые методы фильтрации
• Множественные условия и сложная фильтрация
• Вопросы производительности
• Строковая и расширенная фильтрация
• Практические примеры

Базовые методы фильтрации

Прямое булево индексирование

Самый прямой подход - использовать булево индексирование непосредственно на DataFrame. Этот метод похож на SQL-предложение WHERE и обеспечивает отличную производительность.

import pandas as pd

# Создание примера DataFrame
df = pd.DataFrame({
    'name': ['John', 'Jane', 'Bob', 'Alice'],
    'age': [25, 30, 35, 28],
    'salary': [50000, 60000, 70000, 55000]
})

# Фильтрация строк, где возраст равен 30
filtered_df = df[df['age'] == 30]

Согласно исследованиям, прямое булево индексирование часто является наиболее эффективным методом для простых операций фильтрации источник.

Использование аксессора loc

Аксессор loc предоставляет выбор на основе меток и особенно полезен, когда нужно одновременно выбирать строки и столбцы.

# Фильтрация строк с использованием loc
filtered_df = df.loc[df['age'] == 30]

# Выбор конкретных столбцов при фильтрации
filtered_df = df.loc[df['age'] == 30, ['name', 'salary']]

Как отмечено в исследованиях, loc обычно быстрее и более эффективен по памяти, чем query для индексирования на основе меток источник.

Использование метода query

Метод query() предлагает синтаксис, похожий на SQL, который может быть более читаемым, особенно для сложных условий.

# Использование метода query
filtered_df = df.query("age == 30")

# Query с переменными
min_age = 25
filtered_df = df.query("age >= @min_age")

Исследования показывают, что query предлагает более чистый синтаксис и улучшенную производительность при сложных фильтрах источник.

Множественные условия и сложная фильтрация

Комбинирование множественных условий

Можно комбинировать множественные условия с помощью логических операторов. Не забывайте использовать скобки для сложных условий.

# Условие И (обе условия должны быть истинными)
filtered_df = df[(df['age'] > 25) & (df['salary'] > 55000)]

# Условие ИЛИ (либо условие должно быть истинным)
filtered_df = df[(df['age'] < 30) | (df['salary'] > 65000)]

# Множественные условия И
filtered_df = df[(df['age'] >= 25) & (df['age'] <= 35) & (df['salary'] > 50000)]

Важно: Используйте & для И и | для ИЛИ, и всегда заключайте отдельные условия в скобки.

Использование loc для сложной фильтрации

Аксессор loc отлично справляется со сложной фильтрацией с множественными условиями, позволяя выбирать столбцы.

# Сложная фильтрация с loc
filtered_df = df.loc[
    (df['age'] >= 25) & 
    (df['age'] <= 35) & 
    (df['salary'] > 50000),
    ['name', 'age']
]

Как объясняется в исследованиях, сила .loc заключается в более сложных поисках, когда вам нужны конкретные строки и столбцы источник.

Вопросы производительности

Сравнение производительности методов

Различные методы фильтрации имеют разные характеристики производительности:

Согласно результатам исследований, нет разницы между передачей вашего булева массива как df.loc[] или непосредственно в df[] для простой фильтрации. Выбор становится важным для более сложных операций источник.

Советы по оптимизации производительности

• Для простой фильтрации используйте прямое булево индексирование для достижения наилучшей производительности
• Для сложных условий рассмотрите возможность использования query(), если важна читаемость
• Избегайте цепных операций индексирования, которые могут быть медленнее
• Используйте оператор in для проверок множественных значений: df[df['name'].isin(['John', 'Jane'])]

Строковая и расширенная фильтрация

Фильтрация на основе строк

Pandas предоставляет мощные строковые методы для фильтрации текстовых данных:

# Фильтрация строк, содержащих конкретный текст
filtered_df = df[df['name'].str.contains('J')]

# Фильтрация строк, начинающихся с конкретных символов
filtered_df = df[df['name'].str.startswith('J')]

# Фильтрация строк, заканчивающихся на конкретные символы
filtered_df = df[df['name'].str.endswith('n')]

# Фильтрация без учета регистра
filtered_df = df[df['name'].str.lower().str.contains('j')]

Использование метода where

Метод where() полезен для условной фильтрации, которая сохраняет исходный размер DataFrame:

# Метод where - сохраняет исходную структуру
filtered_df = df.where(df['age'] > 25)

Как отмечено в исследованиях, DataFrame filtered_df сохранит строки, где столбец ‘A’ имеет значения больше 20 с помощью метода where источник.

Практические примеры

Реальный пример: фильтрация данных сотрудников

import pandas as pd

# Создание набора данных сотрудников
employees = pd.DataFrame({
    'employee_id': [1, 2, 3, 4, 5, 6],
    'name': ['Alice', 'Bob', 'Charlie', 'David', 'Eve', 'Frank'],
    'department': ['HR', 'IT', 'Finance', 'IT', 'HR', 'Finance'],
    'salary': [60000, 80000, 75000, 90000, 65000, 85000],
    'experience_years': [3, 5, 7, 4, 2, 6]
})

# Фильтрация IT-сотрудников с зарплатой > 75000
it_high_salary = employees[
    (employees['department'] == 'IT') & 
    (employees['salary'] > 75000)
]

# Фильтрация сотрудников HR или Finance с опытом 5+ лет
senior_staff = employees[
    (employees['department'].isin(['HR', 'Finance'])) & 
    (employees['experience_years'] >= 5)
]

# Фильтрация сотрудников с длиной имени > 4 и зарплатой < 80000
name_salary_filter = employees[
    (employees['name'].str.len() > 4) & 
    (employees['salary'] < 80000)
]

Сводка лучших практик

1. Начинайте просто: Используйте прямое булево индексирование для базовой фильтрации
2. Комбинируйте условия: Используйте & для И, | для ИЛИ с правильными скобками
3. Выбирайте читаемость: Используйте query() для сложных условий, которые должны быть читаемыми
4. Используйте подходящие методы: Воспользуйтесь строковыми методами для текстовой фильтрации
5. Производительность имеет значение: Учитывайте производительность методов для больших наборов данных

Источники

1. Filter Pandas Dataframe by Column Value - GeeksforGeeks
2. Python : 10 Ways to Filter Pandas DataFrame - ListenData
3. How do I select rows from a DataFrame based on column values? - Stack Overflow
4. pandas.DataFrame.filter — pandas documentation
5. Python Pandas DataFrame where() - Filter Data Conditionally - Vultr Docs
6. Filter Pandas Dataframe with multiple conditions - GeeksforGeeks
7. Pandas Filter by Column Value - Spark By Examples
8. Iloc and Boolean Indexing in Pandas: Filtering Data with Precision - FasterCapital
9. Pandas DataFrame Loc vs Query Performance - Saturn Cloud Blog
10. Pandas, loc vs non loc for boolean indexing - Stack Overflow

Заключение

Фильтрация строк в Pandas DataFrame на основе значений столбцов является фундаментальной операцией с несколькими эквивалентными подходами, аналогичными SQL-предложению WHERE. Наиболее распространенные методы включают прямое булево индексирование (df[df.column == value]), аксессор loc (df.loc[df.column == value]) и метод query (df.query("column == value")). Для простых условий прямое булево индексирование обеспечивает наилучшую производительность, в то время как loc предоставляет больше гибкости для сложных операций, включающих выбор строк и столбцов. Метод query excel в читаемости для сложных условий и поддерживает встроенные переменные. При работе с множественными условиями всегда используйте правильные скобки и соответствующие логические операторы (& для И, | для ИЛИ). Строковая фильтрация может быть эффективно обработана с помощью строковых методов Pandas, таких как .str.contains(), .str.startswith() и .str.endswith(). Понимание этих методов и их характеристик производительности поможет вам писать более эффективный и читаемый код Pandas для операций фильтрации данных.