Как ускорить Power Query: диагностика и оптимизация запросов

Ускорить запросы и снизить нагрузку на Microsoft.Mashup.Container.Loader.exe можно, если в первую очередь понять, что стало причиной замедления, а потом применить конкретные практики оптимизации (это как разузнать, где тормозит машина). Ниже собраны проверенные рекомендации, основанные на сообщениях пользователей и официальной документации.

Содержание

• Почему запросы стали медленными?
• Диагностика процесса Mashup.Container.Loader.exe
• Оптимизация самих запросов Power Query
• Настройка окружения и ресурсов
• Альтернативные решения для больших файлов
• Когда Power Query действительно не подходит

---

Почему запросы стали медленными?

Сейчас ваш набор из 15 источников (Excel, SharePoint, сервер) может генерировать более 100 МБ данных, а при отсутствии фильтрации и слияния в ранних шагах каждый запрос загружает полный файл (это как если бы вы открывали каждую книгу полностью). Если в прошлом все файлы были небольшими, то рост объёма данных привёл к тому, что каждый шаг теперь обрабатывает гигабайты строк (это как обрабатывать целый океан данных), а это и вызывает длительные загрузки.

Обращение к SharePoint через Web‑ссылки часто приводит к двойной загрузке данных: сначала происходит скачивание файла, а затем его парсинг в Power Query (это как разбирать книгу после того, как её уже прочитали). При изменении структуры файлов производительность падает ещё сильнее (это как если бы вы потеряли навигацию), так как Power Query теряет возможность query folding.

Диагностика процесса Mashup.Container.Loader.exe

Проверка в реальном времени: в Power Query Editor нажмите «Advanced Editor» и добавьте = TimeZone.UtcNow() в начале каждого шага (это как ставить таймеры на каждую задачу); это позволит быстро увидеть, сколько времени тратится на каждый из них.

Оптимизация самих запросов Power Query

1. Фильтрация как можно раньше
   Применяйте Table.SelectRows после Source и до всех объединений.

   “Filtering Data Early” – один из ключевых пунктов в блоге Integrate.io: чем меньше строк попадает дальше (это как уменьшить нагрузку на дорогу), тем быстрее выполняется вся цепочка.

2. Слияние файлов через каталог
   Вместо отдельного запроса к каждому файлу используйте Folder.Files и Table.Combine (это как собрать все книги в одну папку).

3. Минимизация использования Table.Buffer
   Table.Buffer полезен, когда вы планируете несколько обращений к одной таблице, но держит данные в памяти надолго (это как держать книги в руках слишком долго).

4. Оптимизация объединений
   Создайте в каждом источнике ключ‑столбец заранее (например, VT_DNM_Quality_Date) и объединяйте по нему (это как иметь ключ к замку).

5. Уменьшение количества шагов
   Сведите к минимуму число промежуточных таблиц: объединяйте сразу несколько преобразований в один M‑выраз (это как собрать все детали в один блок).

6. Используйте Power Query в Power BI
   Power BI Desktop реализует более эффективный evaluation container и позволяет назначать размер RAM через Options → Current File → Data Load → Memory usage (это как давать машине больше места для работы).

Настройка окружения и ресурсов

Альтернативные решения для больших файлов

1. Power BI Service – экспортируйте модель в облако и используйте Incremental Refresh; это позволяет обновлять только новые строки (это как обновлять только свежие данные).
2. Azure Data Factory / Synapse – для 15 файлов можно создать пайплайн, который предварительно консолидирует данные в Data Lake, а затем подключается к Power BI через DirectQuery (это как собрать все данные в один большой резервуар).
3. Power Query в Excel 365 – если нужна мгновенная интерактивность, используйте Power Query в режиме Power Pivot и подключайте данные к модели (это как иметь быстрый доступ к данным).
4. Переход на Power Query в .NET или Python – если вы пишете скрипты, можно использовать Microsoft.Mashup через C# для более гибкого управления памятью (это как иметь собственный инструмент).

Когда Power Query действительно не подходит

• Объёмы > 10 ГБ: при таком объёме памяти Excel может «зависнуть» из‑за ограничений 32‑битной версии (это как пытаться вместить слишком много в маленькую коробку).
• Сложные трансформации с множеством Table.Buffer и List.Generate – они требуют большого объёма RAM (это как строить сложный механизм без достаточного места).
• Непостоянные источники (SharePoint, Web) с частыми изменениями структуры – Power Query теряет query folding, и вся нагрузка ложится на клиент (это как потерять навигацию в лабиринте).
• Многопользовательский сценарий (одновременно 10+ пользователей открывают файл) – Excel не будет масштабироваться, тогда лучше использовать Power BI Service (это как иметь отдельный сервер для всех).

Заключение

• Сначала диагностируйте: отключите фоновые запросы, проверьте потребление памяти и наличие фатальных шагов (это как проверить, где тормозит машина).
• Оптимизируйте запросы: фильтруйте как можно раньше, объединяйте файлы через Folder.Files, минимизируйте использование Table.Buffer (это как убрать лишнее в процессе).
• Настройте окружение: увеличьте память контейнера, отключите фоновую загрузку и включите параллельные запросы (это как дать машине больше ресурсов).
• Переходите на более подходящие инструменты: Power BI Desktop/Service, Azure Data Factory или Synapse для больших объёмов (это как перейти на более мощный автомобиль).
• Power Query может работать с большим количеством файлов, но эффективность зависит от правильной архитектуры и настройки (это как зависит от правильного планирования маршрута).
• Ключевой вывод: Power Query не «не подходит» сам по себе, а требует грамотной реализации и масштабирования (это как любой инструмент, который работает лучше, когда правильно его использовать).