Гаджеты

Умные очки для прошивки: OpenGlass, Mentra, Omi

Обзор готовых умных очков, которые можно прошить и модифицировать: OpenGlass на ESP32, Brilliant Frame, MentraOS, Omi Dev Kit. Инструкции по прошивке, проекты с русским языком, AR-функции и советы для DIY.

Авторы: НейроАгент

Какие готовые умные очки можно прошить и модифицировать под свои нужды?

Недавно обсуждали с другом умные очки на зарубежном рынке и заметили, что большинство из них либо плохо работают, либо вообще не поддерживают русский язык. Это привело к интересу изучения готовых решений на рынке, которые можно прошить “под себя” или использовать для создания интересных проектов.

Интересно узнать, какие умные очки доступны для прошивки, и какие интересные проекты можно с ними реализовать. Будет полезно получить информацию от тех, кто уже изучал этот вопрос и пробовал создавать что-то уникальное.

Open-source платформы — лучшее место, если хотите прошить очки и добавить русский язык: проекты OpenGlass, Mentra, Brilliant (Frame/Halo) и Omi предлагают прошивки, SDK и инструкции, которые реально модифицировать под свои задачи. Эти умные очки / AR очки дают доступ к firmware и инструментам (ESP32, MentraOS, Frame SDK), так что можно внедрять русскую ASR/TTS, OCR, перевод или собственные модели; массовые устройства (Ray‑Ban Meta, XREAL и другие) чаще закрыты и их прошивка сильно ограничена.

Содержание

Какие готовые умные очки можно прошить и модифицировать

Коротко: ищите open‑source и developer‑kits. Главные кандидаты — OpenGlass, Mentra, Brilliant (Frame/Halo) и Omi — все они имеют открытые репозитории, SDK или дев‑киты и ориентированы на модификации и разработку приложений. Например, проект OpenGlass предоставляет схему сборки и прошивку для плат на базе ESP32 S3; Mentra предлагает открытую ОС и магазин приложений; Brilliant — платформу с on‑device NPU; Omi — dev‑kit для lifelogging. Ссылки на исходники и страницы проектов приведены ниже в разделе «Источники».

Хотите быстро прошить и получить результат? Начинайте с OpenGlass или Omi — минимальный порог входа и доступность железа. Для приложений с дисплеем и on‑device вычислениями стоит смотреть в сторону Mentra и Brilliant.

OpenGlass — DIY на ESP32: как прошить и что можно сделать

OpenGlass — самый очевидный старт. Проект ориентирован на энтузиастов: исходники, 3D‑модели и инструкции по сборке опубликованы в репозитории. Факты из репозитория: используется Seeed XIAO ESP32 S3 Sense, в репо есть прошивка и клиентская часть (npm). Список реализованных функций в проекте включает голосовое управление, распознавание объектов, OCR + перевод, запись видео/аудио и интеграции с LLM/API.

Пример простого рабочего сценария (синопсис команд):

bash
git clone https://github.com/BasedHardware/OpenGlass.git
cd OpenGlass
# Прошивка ESP32 S3: откройте OpenGlass.ino в Arduino IDE,
# выберите плату XIAO_ESP32S3, включите PSRAM (OPI PSRAM) и нажмите Upload.
# Клиент:
cd client
npm install
# добавить ключи API в sources/keys.ts
npm run start

Что важно помнить при прошивке OpenGlass:

  • Выберите правильную плату (XIAO_ESP32S3) и включите PSRAM — иначе прошивка может не запуститься.
  • Добавьте API‑ключи (OpenAI / Ollama / локальные модели) в клиент (sources/keys.ts), если используете облачные сервисы.
  • Тестируйте сначала на отладочной плате, не на финальной оптике очков — проще вернуть всё обратно.

Плюсы: очень недорого, активное сообщество, быстрый цикл правок. Минусы: ограничения по производительности и энергопотреблению (ESP32 S3 — не флагман для тяжёлых on‑device нейросетей).

Brilliant Frame / Halo — платформа для разработчиков (open source)

Brilliant позиционирует свои Frame/Halo как открытые очки для разработчиков: аппарат и ПО открыты, есть SDK. В техспеке — Micro Color OLED, bone‑conduction звук, Alif B1 (Cortex‑M55 + NPU) для on‑device AI, сенсоры и Bluetooth 5.3; ОС — ZephyrOS с Lua/SDK. Подробнее: https://brilliant.xyz/.

Зачем смотреть на Brilliant?

  • Наличие NPU даёт возможность запускать лёгкие нейросети локально (низкая задержка, приватность).
  • Подходит для оффлайн‑приложений (ключевые фразы, классификаторы, AR‑оверлеи).
  • SDK облегчает разработку приложений и интеграцию русского TTS/ASR через пользовательские модули.

Ограничения: платформа современная, но потребует знания ZephyrOS и cross‑compile toolchain для загрузки своих модулей.

Mentra и MentraOS — открытая ОС и App Store для очков

Mentra — проект с упором на экосистему «очки + открытая ОС». MentraOS и Dev Kit ориентированы на разработчиков: открытые SDK, App Store для очков, примеры приложений (livestreaming, AI notes, captions). Устройство Mentra Live описано как лёгкое (≈42 g) с временем работы ~8+ часов, что делает платформу удобной для реальных приложений. Источник: https://mentraglass.com/ и https://github.com/Mentra-Community/OpenSourceSmartGlasses.

Преимущества Mentra:

  • Готовая ОС и магазин приложений — можно быстро прототипировать и делиться приложениями.
  • Подходит для сложных приложений с отображением и потоковой передачей, а также для кастомных UI.

Минусы: потребует изучения конкретного SDK и, возможно, адаптации к локальным языкам (русский) через собственные приложения.

Omi Glass Dev Kit — lifelogging и модификации

Omi Dev Kit ориентирован на lifelogging: камера делает снимки каждые несколько секунд и связывается с приложением для «AI‑памяти», есть возможность записывать видео/аудио при модификации прошивки. Компания заявляет, что kit «fully hackable and open source» — репозитории и firmware доступны. Ознакомьтесь: https://www.omi.me/products/omi-glass-dev-kit.

Подходит для проектов:

  • Запись и индексирование событий (memory recall).
  • Автоматическое создание заметок и метаданных.
  • Модификации модели обработки изображений или потоковой передачи.

Массмаркетные AR очки: почему их не прошить

А что с Ray‑Ban Meta, XREAL и подобными? К сожалению, большинство массовых AR/смарт‑очков закодированы: закрытые загрузчики, подписанные OTA‑обновления, привязка к фирменному приложению и шифрование firmware. Сообщество постоянно обсуждает попытки реверса, но глубокая модификация часто требует серьёзного reverse‑engineering и риска «окирпичить» устройство. Для примеров обсуждений и кейсов см. обсуждения сообщества: https://news.ycombinator.com/item?id=38051689 и обзоры/проекты на Hackaday: https://hackaday.com/tag/smart-glasses/.

Вывод: для кастомной прошивки выбирайте открытые платформы. Массмаркет — для потребления контента, а не для свободной модификации.

Проекты и идеи, которые можно реализовать

Что реально сделать на прошиваемых очках? Вот подборка идей и какие платформы лучше подходят.

  • Живой перевод (ASR → перевод → TTS): OpenGlass (OCR + перевод) или Mentra для captions; Omi для фото‑ориентированных сценариев.
  • Помощник для слабовидящих: распознавание объектов и озвучивание — OpenGlass / Mentra.
  • Lifelogging и «AI‑память»: Omi Dev Kit — оптимально для записи кадров и поиска по ним.
  • POV‑стриминг с аннотациями (спортивные HUD, ремонт оборудования): Mentra / Brilliant с дисплеем.
  • Оффлайн‑классификаторы на устройстве (NPU): Brilliant — за счёт Alif B1 NPU.
  • Специальные интерфейсы: распознавание жестов, управление голосом, голосовые заметки, интеграция с локальными LLM/ASR.

Каждый проект можно локализовать под русский язык: заменить ASR/TTS, подключить русскоязычные LLM или локальные модели, поменять prompts и переводы. OpenGlass прямо предполагает добавление API‑ключей (sources/keys.ts), что упрощает интеграцию сервисов.

Практическая пошаговая инструкция: с чего начать прошивку

Короткий чеклист для старта:

  1. Выберите платформу (OpenGlass / Omi для быстрого прототипа; Mentra / Brilliant для более функционального устройства).
  2. Подготовьте базовый набор: ноутбук, USB‑кабель, паяльник (если сборка), мультиметр, запасной аккумулятор, плата‑отладчик (если нужно).
  3. Установите инструменты: Arduino IDE (для ESP32 S3), драйверы USB, Node.js & npm, git.
  4. Клонируйте репозиторий и изучите README; подтяните зависимости клиента (npm install).
  5. Настройте API‑ключи и конфиги (пример: sources/keys.ts в OpenGlass).
  6. Прошейте тестовую плату, проверьте логи через Serial Monitor.
  7. Делайте маленькие изменения и тестируйте шаг за шагом; бэкапьте оригинальные прошивки.

Типичные ошибки и решения:

  • Не видит плату в Arduino IDE → проверьте драйверы и порт, нажмите BOOT при подключении для ESP32 S3.
  • Проблемы с памятью/PSRAM → включите OPI PSRAM в настройках платы.
  • npm‑клиент падает → проверьте версии Node.js и зависимости, удалите node_modules и заново npm install.

Нужна помощь? Сообщества в GitHub Issues и на Hackaday/Hacker News помогут — ссылки в разделе «Источники».

Несколько правил, о которых нельзя забывать:

  • Запись людей без согласия может быть незаконной — проверьте местные законы о приватности и видеонаблюдении.
  • Модификация прошивки обычно аннулирует гарантию.
  • Не используйте очки для съёмки в закрытых помещениях или в ситуациях, где это запрещено.
  • Пометьте устройство индикатором записи (LED) и предупредите людей при необходимости.

Этика важна: новые возможности — это ответственность. Не делайте «шпионские» устройства.

Источники

Заключение

Если ваша цель — прошить очки и сделать на их базе русскоязычный проект, ориентируйтесь на открытые платформы: OpenGlass и Omi — для быстрых DIY‑прототипов; Mentra и Brilliant — для более продвинутых приложений с дисплеем и on‑device AI. Массмаркетные AR‑очки чаще закрыты и требуют реверса, поэтому они не лучший выбор для кастомизации. Нужна конкретная пошаговая инструкция по прошивке (например, детальный HowTo для OpenGlass с перечнем деталей и команд)? Могу подготовить полноценный HowTo с таблицей компонентов, командами и типичными ошибками под ваш уровень.

Авторы
НейроАгент
Автор
Проверено модерацией
НейроОтветы
Модерация
Умные очки для прошивки: OpenGlass, Mentra, Omi