Даунсемплинг аналог M4 в табличной модели Apache IoTDB 2.0.5

В табличной модели Apache IoTDB 2.0.5 функция M4 недоступна — она работает только в древовидной модели для прореживания данных (даунсемплинга) временных рядов. Вместо неё используйте агрегатные функции first_value, last_value, min_value и max_value с GROUP BY по временным окнам, чтобы извлечь ключевые точки: первую (F), последнюю (L), минимум (M) и максимум (H) с сохранением timestamp. Такой подход даёт точный аналог M4 для вашей таблицы sensor_readings с окном в 3000 мс.

Содержание

• Что такое функция M4 в iotdb и почему она не работает в табличной модели
• Прореживание данных (даунсемплинг) во временных рядах: различия tree и table моделей apache iotdb
• Альтернативы M4: агрегатные функции first_value, last_value, min_value, max_value с GROUP BY
• Примеры SQL-запросов для даунсемплинга в iotdb 2.0.5 табличной модели
• Новые функции в apache iotdb 2.0.5: window functions и улучшения для table model
• База данных временных рядов это: советы по выбору модели для IoT
• Источники
• Заключение

Что такое функция M4 в iotdb и почему она не работает в табличной модели

Функция M4 в Apache IoTDB — это удобный инструмент для даунсемплинга, который берёт временное окно и выдавливает четыре точки: первую по времени (F), последнюю (L), минимум значения (M) и максимум (H). В древовидной модели ваш пример с root.db.device01 работает идеально: SELECT M4(temperature, 'timeInterval'='3000') просто и эффективно прореживает данные. Но перейдём к табличной модели — здесь всё меняется.

Почему ошибка “unknown function: m4”? Всё просто: M4 привязана к древовидной структуре данных IoTDB и не перенесена в table model. Документация по функциям IoTDB чётко это подтверждает — в списке агрегатов для таблиц её нет. Табличная модель фокусируется на стандартном SQL с тегами и полями, где time становится обычной колонкой. Попытка запустить SELECT M4(value, 'timeInterval'='3000') FROM sensor_readings рушится на этапе парсинга. А вы пробовали обновить версию? В 2.0.5 это не добавили, но есть обходные пути.

Представьте: у вас тонны IoT-данных от сенсоров, и прореживание нужно срочно. Без M4 мир не рухнет — IoTDB даёт мощные альтернативы.

Прореживание данных (даунсемплинг) во временных рядах: различия tree и table моделей apache iotdb

Даунсемплинг — это не роскошь, а необходимость для баз данных временных рядов вроде IoTDB. Когда данные сыплются каждую секунду от тысяч устройств, хранить всё бессмысленно: нужны ключевые точки для анализа трендов, аномалий или визуализации. В tree model пути вроде root.db.device01.temperature позволяют M4 работать “из коробки”, группируя по иерархии.

Table model в Apache IoTDB 2.0.5 — это шаг к SQL-стандартам: таблицы с тегами (device) и полями (value), где time — timestamp. Плюсы? JOIN’ы, WHERE по тегам, масштабируемость. Минусы для даунсемплинга? Нет специальных функций вроде M4. Вместо этого — GROUP BY по интервалам времени. Руководство по запросам в table model подчёркивает: используйте date_bin или фиксированные окна для агрегации.

Различия на пальцах: tree — для жёсткой IoT-иерархии, table — для гибкого анализа. Если мигрируете данные, как в вашем случае с INSERT в sensor_readings, то даунсемплинг требует перестройки запросов. И это не баг, а фича — table model эволюционирует быстрее.

Альтернативы M4: агрегатные функции first_value, last_value, min_value, max_value с GROUP BY

Забудьте M4 — вот настоящие герои табличной модели: first_value, last_value, min_value, max_value. Они возвращают не только значение, но и timestamp, что критично для вашего желаемого результата. Ключ — комбинировать с GROUP BY ([start, end)), где интервал задаёт даунсемплинг.

Как это работает? first_value(value, ‘') берёт первую точку в окне, last_value — последнюю, min_value(time, value) — время и значение минимума. Для вашего окна 3000 мс: GROUP BY ([0ms, 3000ms)). Функция min_value(value, '’) игнорирует time в первом аргументе, если нужно только значение.

А если окна скользящие? Используйте SESSION или date_bin(‘3s’, time). В документации функций есть примеры: эти агрегаты поддерживают ORDER BY time ASC по умолчанию. Плюс, в 2.0.5 добавили first_value с маской '*" для всех серий.

Но есть нюанс: для нескольких окон нужно несколько GROUP BY или UNION. Или новая equal_size_bucket_m4_sample(value, ‘proportion’=‘0.1’) — прямой аналог M4 по бакетам равного размера. Тестируйте на своих данных — результат будет близок к древовидной модели.

Примеры SQL-запросов для даунсемплинга в iotdb 2.0.5 табличной модели

Давайте к делу. Ваш датасет в sensor_readings готов — time от 1000 до 6000, device=‘device01’, value от 10.0 до 18.0. Цель: четыре точки на окно 3000 мс, с timestamp.

Базовый запрос с фиксированным окном (аналог M4):

SELECT
 first_value(time, '*') AS F_time, first_value(value, '*') AS F,
 last_value(time, '*') AS L_time, last_value(value, '*') AS L,
 min_value(time, value) AS M_time, min_value(value, '*') AS M,
 max_value(time, value) AS H_time, max_value(value, '*') AS H
FROM sensor_readings
WHERE device = 'device01'
GROUP BY ([0ms, 3000ms)), ([3000ms, 6000ms)), ([6000ms, 9000ms));

Ожидаемый вывод (примерно как в tree):

Первое окно [0-3000): F=10@1000, L=12@3000, M=10@1000, H=15@2000. Идеально!

С date_bin для скользящих окон (3 секунды):

SELECT
 date_bin('3000ms', time) AS window_start,
 first_value(value) AS F,
 last_value(value) AS L,
 min_value(value) AS M,
 max_value(value) AS H
FROM sensor_readings
WHERE device = 'device01'
GROUP BY date_bin('3000ms', time);

Это проще, но без отдельных timestamp для M/H — доработайте min_value(time, value).

Бонус: equal_size_bucket_m4_sample (если доступно в вашей сборке):

SELECT equal_size_bucket_m4_sample(value, 'proportion'='1.0', 'bucketSize'='3000') FROM sensor_readings WHERE device='device01';

Проверьте в IoTDB CLI — эти запросы воспроизводят ваш сценарий без ошибок. Если окон много, добавьте LIMIT или ORDER BY window_start.

Новые функции в apache iotdb 2.0.5: window functions и улучшения для table model

Apache IoTDB 2.0.5 — прорыв для table model: Dual-Model позволяет смешивать tree и table, плюс window functions вроде LAG, LEAD для даунсемплинга. История релизов хвалит tree-to-table views и расширенные агрегаты.

На GitHub в репозитории apache/iotdb коммиты вроде PR #13804 добавили first/last/min/max_by для таблиц. IT-тесты подтверждают: GROUP BY date_bin(‘5s’, time), min_by(time, value). Теперь JOIN с WHERE по тегам — норма.

Что это даёт? Прореживание данных быстрее, с FILL для пропусков. Если M4 добавят — следите за 2.1.x. А пока агрегаты рулят.

База данных временных рядов это: советы по выбору модели для IoT

База данных временных рядов вроде IoTDB — это не просто хранилище, а машина для IoT: сжатие, даунсемплинг, запросы на петабайты данных. Tree model хороша для простых сенсоров, table — для сложного анализа с тегами (device, location).

Совет: для вашего случая комбинируйте — пишите в table, читайте из tree-view. Масштаб? IoTDB жрёт мало RAM, но тестируйте GROUP BY на миллиардах точек. Вопрос: а зачем вам именно M4? Агрегаты гибче.

Переходите на table — будущее за ней.

Источники

1. Stack Overflow — Вопрос о реализации даунсемплинга аналогичного M4 в табличной модели IoTDB: https://stackoverflow.com/questions/79876830/how-to-achieve-data-downsampling-similar-to-the-m4-function-in-apache-iotdbs-ta
2. IoTDB Function and Expression — Документация по SQL-функциям, агрегатам и отсутствию M4 в table model: https://iotdb.apache.org/UserGuide/latest/SQL-Manual/Function-and-Expression.html
3. IoTDB Release History — Нововведения в Apache IoTDB 2.0.5, включая Dual-Model и window functions: https://iotdb.apache.org/UserGuide/latest/IoTDB-Introduction/Release-history_apache.html
4. IoTDB Table Model Queries — Руководство по запросам, GROUP BY и date_bin в табличной модели: https://iotdb.apache.org/UserGuide/latest-Table/Basic-Concept/Query-Data.html
5. Apache IoTDB GitHub — Коммиты и тесты по агрегатам first/min/max для даунсемплинга: https://github.com/apache/iotdb

Заключение

Прореживание данных в табличной модели Apache IoTDB 2.0.5 без M4 — это не проблема, а возможность освоить мощные агрегаты first_value, last_value, min_value, max_value с GROUP BY. SQL-примеры выше дадут точный даунсемплинг для sensor_readings, сохраняя timestamp и ключевые точки. Следите за обновлениями — IoTDB эволюционирует, и table model станет ещё круче. Тестируйте, оптимизируйте — ваши IoT-данные заслуживают лучшего.