Что делает ключевое слово 'yield' в Python?

Ключевое слово yield в Python преобразует обычную функцию в генераторную функцию, которая производит последовательность значений по одному за раз, а не все сразу. Когда функция содержит yield, она становится генератором, по которому можно итерироваться, приостанавливая выполнение на каждом операторе yield и сохраняя свое локальное состояние для следующей итерации. Это делает генераторы особенно эффективными для обработки больших наборов данных или бесконечных последовательностей, поскольку они вычисляют и предоставляют значения только при необходимости, а не хранят все в памяти.

Содержание

• Что такое ключевое слово yield?
• Как yield преобразует функции в генераторы
• Понимание потока выполнения
• Анализ вашего конкретного примера кода
• Расширенные возможности yield
• Практическое применение и преимущества

Что такое ключевое слово yield?

Ключевое слово yield в Python является особенным, потому что оно отмечает функцию как генераторную функцию. В отличие от обычных функций, которые используют return для возврата значения и завершения работы, генераторные функции используют yield для производства значения и временного приостановления выполнения. Ключевое отличие заключается в том, что генераторные функции сохраняют свое состояние между вызовами, позволяя возобновить работу именно с того места, где они остановились.

Когда Python встречает yield, он выполняет следующие действия:

1. Приостанавливает выполнение функции в этой точке
2. Возвращает значение, указанное после yield
3. Сохраняет все локальные переменные и контекст выполнения
4. Ожидает следующей итерации для продолжения с того места, где остановился

Это поведение делает генераторы невероятно эффективными с точки зрения использования памяти, поскольку им не нужно хранить все значения в памяти одновременно. Вместо этого они производят значения лениво, по одному, только когда они запрашиваются.

Как yield преобразует функции в генераторы

Любая функция, содержащая yield, автоматически становится генераторной функцией. Когда вы вызываете генераторную функцию, она немедленно не выполняет тело функции. Вместо этого она возвращает объект генератора, по которому можно итерироваться.

Вот фундаментальное различие:

# Обычная функция
def regular_function():
    return [1, 2, 3]
    # Возвращает полный список сразу

# Генераторная функция  
def generator_function():
    yield 1
    yield 2
    yield 3
    # Возвращает объект генератора, производит значения по одному

Согласно документации Real Python, “Генераторные функции выглядят и ведут себя как обычные функции, но с одной определяющей характеристикой. Генераторные функции используют ключевое слово Python yield вместо return.”

Процесс преобразования работает следующим образом:

1. Определение функции с yield → становится генераторной функцией
2. Вызов генераторной функции → возвращает объект генератора (еще не выполнен)
3. Итерация по генератору → выполняет функцию до первого yield
4. Каждая последующая итерация → возобновляется с последнего оператора yield

Понимание потока выполнения

Поток выполнения генераторной функции значительно отличается от обычной функции. Давайте проследим на простом примере:

def simple_generator():
    print("Генератор запущен...")
    yield "первое значение"
    print("После первого yield")
    yield "второе значение"
    print("После второго yield")
    yield "третье значение"
    print("Генератор завершен")

# Использование
gen = simple_generator()  # Объект генератора создан, функция не выполнена
print(f"Объект генератора: {gen}")

# Первая итерация
value1 = next(gen)  # Выполняет до первого yield
print(f"Получено: {value1}")

# Вторая итерация  
value2 = next(gen)  # Возобновляется после первого yield
print(f"Получено: {value2}")

# Третья итерация
value3 = next(gen)  # Возобновляется после второго yield
print(f"Получено: {value3}")

# Четвертая итерация вызовет StopIteration

Результат выполнения будет:

Объект генератора: <generator object simple_generator at 0x7f8c1a1b3e50>
Генератор запущен...
Получено: первое значение
После первого yield
Получено: второе значение
После второго yield
Получено: третье значение
Генератор завершен

Как объясняет Mozilla Developer Network, генераторы — это специальные итераторы, которые позволяют производить значения лениво, по одному, а не все сразу. Эта ленивая оценка того, что делает их такими мощными для управления памятью.

Анализ вашего конкретного примера кода

Теперь давайте разберем ваш пример кода, чтобы ответить на ваши конкретные вопросы:

def _get_child_candidates(self, distance, min_dist, max_dist):
    if self._leftchild and distance - max_dist < self._median:
        yield self._leftchild
    if self._rightchild and distance + max_dist >= self._median:
        yield self._rightchild  

И его вызывающий код:

result, candidates = [], [self]
while candidates:
    node = candidates.pop()
    distance = node._get_dist(obj)
    if distance <= max_dist and distance >= min_dist:
        result.extend(node._values)
    candidates.extend(node._get_child_candidates(distance, min_dist, max_dist))
return result

1. Что происходит при вызове метода _get_child_candidates?

При вызове _get_child_candidates он немедленно не выполняется. Вместо этого он возвращает объект генератора, который будет производить дочерние узлы при итерации. Тело функции выполняется только тогда, когда генератор фактически потребляется.

2. Возвращает ли он список, один элемент или что-то еще?

Он возвращает ни список, ни один элемент. Он возвращает объект генератора, который может производить значения по одному. Когда вы вызываете candidates.extend(), Python автоматически итерируется по этому генератору, потребляя все выданные значения и добавляя их в список candidates.

3. Сколько раз он вызывается и когда прекращаются последующие вызовы?

Метод вызывается один раз на узел во время обхода. Каждый вызов производит все подходящие дочерние узлы для этого конкретного узла. Вызывающий цикл продолжается до тех пор, пока список candidates не станет пустым, что означает завершение обхода.

4. Какова связь между yield и генераторами Python?

Ключевое слово yield — это то, что создает генераторы в Python. Как объясняет guru99, “Ключевое слово yield преобразует данное выражение в генераторную функцию, которая возвращает объект генератора.” Ваш пример демонстрирует идеальный случай использования генераторов при обходе дерева, где вы хотите исследовать дочерние узлы лениво, не создавая полные списки заранее.

Расширенные возможности yield

Помимо базового использования yield, Python предлагает несколько расширенных возможностей для работы с генераторами:

yield from

Python 3.3 представил yield from, который позволяет делегировать подгенератору:

def nested_generator():
    yield "начало"
    yield from inner_generator()  # Делегирует внутреннему генератору
    yield "конец"

def inner_generator():
    yield "внутренний1"
    yield "внутренний2"

Как упоминается в ответе на Stack Overflow, “Используйте выражение yield from Python для подключения вложенного генератора к вашему вызывающему коду.”

Отправка значений генераторам

Генераторы также могут получать значения через метод send():

def receiver():
    while True:
        value = yield
        print(f"Получено: {value}")

gen = receiver()
next(gen)  # Инициализация генератора
gen.send("привет")  # Отправка значения генератору

Выражения-генераторы

Аналогично списковым включениям, но с круглыми скобками вместо квадратных:

# Списковое включение (создает полный список в памяти)
squares_list = [x**2 for x in range(10)]

# Выражение-генератор (ленивая оценка)
squares_gen = (x**2 for x in range(10))  # Круглые скобки, а не квадратные

Практическое применение и преимущества

Генераторы с yield особенно полезны в нескольких сценариях:

Эффективность использования памяти

Для больших наборов данных генераторы значительно экономят память, поскольку они хранят в памяти только одно значение за раз.

Бесконечные последовательности

Генераторы могут представлять бесконечные последовательности, которые невозможно было бы хранить:

def fibonacci():
    a, b = 0, 1
    while True:
        yield a
        a, b = b, a + b

# Можно использовать в циклах for с условиями выхода
fib = fibonacci()
for _ in range(10):
    print(next(fib))

Обработка конвейеров

Генераторы обеспечивают эффективную обработку данных в конвейерах:

def read_lines(file_path):
    with open(file_path) as file:
        for line in file:
            yield line.strip()

def filter_lines(lines, min_length):
    for line in lines:
        if len(line) >= min_length:
            yield line

def process_data(file_path):
    lines = read_lines(file_path)
    filtered = filter_lines(lines, 10)
    return list(filtered)  # Потребление генератора при необходимости

Обход деревьев и графов

Как показывает ваш пример, генераторы отлично подходят для алгоритмов обхода деревьев, позволяя элегантные и эффективные с точки зрения реализации обхода в ширину (BFS), в глубину (DFS) и других методов обхода.

Заключение

Ключевое слово yield фундаментально меняет то, как функции работают в Python, преобразуя их в генераторы, которые могут производить значения лениво. Основные выводы включают:

1. Создание генераторов: Любая функция с yield становится генераторной функцией, которая возвращает объект генератора при вызове
2. Ленивая оценка: Генераторы производят значения по одному, только при необходимости, что делает их эффективными с точки зрения использования памяти
3. Сохранение состояния: Генераторы сохраняют свое состояние выполнения между вызовами, возобновляя работу именно с того места, где остановились
4. Бесконечные последовательности: Генераторы могут представлять бесконечные последовательности, которые было бы невозможно хранить в памяти
5. Обработка конвейеров: Генераторы обеспечивают эффективную обработку данных в конвейерах с минимальными накладными расходами на память

В вашем примере обхода дерева метод _get_child_candidates использует yield для создания генератора, который производит дочерние узлы по требованию, позволяя основному алгоритму эффективно исследовать структуру дерева без предварительного создания полных списков узлов. Этот паттерн особенно мощен для больших структур данных, где эффективность использования памяти является критически важной.

Чтобы освоить генераторы, практикуйтесь в создании простых генераторных функций и экспериментируйте с различными шаблонами итерации. Начните с базовых последовательностей и постепенно переходите к более сложным случаям использования, таким как обход деревьев, обработка данных в конвейерах и бесконечные последовательности.

Источники

1. How to Use Generators and yield in Python – Real Python
2. yield Keyword - Python - GeeksforGeeks
3. Python yield Keyword: What Is It and How to Use It? | DataCamp
4. Python Yield: How It Works and Why It’s Useful | Simplilearn
5. Python yield Keyword | W3Schools
6. Python Generators (With Examples) | Programiz
7. Yield in Python Tutorial: Generator & Yield vs Return Example | Guru99
8. Python generators and the yield keyword | Python Central
9. Python : Yield Keyword & Generators explained with examples - thisPointer
10. Python inorder traversal with generator(yield , yield from) | LeetCode