Разработка умного устройства для обучающего макета на основе микроконтроллера

В обучающих макетах на базе микроконтроллеров часто возникает разрыв между тем, что пользователь делает руками, и тем, как макет это «понимает» и реагирует. С одной стороны, инерциальные датчики позволяют снимать временной поток движений; с другой – для устойчивого распознавания жестов нужно научиться извлекать из этого потока именно те закономерности, которые повторяются от пользователя к пользователю. Особенно заметна эта проблема, когда обучение сопровождается световой обратной связью и требуется корректная реакция даже при кратковременных сбоях связи с сетью. Проект сосредоточен на практической стороне распознавания жестов в форме «умной палочки», встроенной в обучающий сценарий.

Общая цель проекта – построить умное обучающее устройство для макета, которое распознаёт набор жестов по данным IMU и переводит распознавание в понятную пользователю реакцию. Для её достижения требуется сформулировать требования к устройству и сценариям записи жестов, затем сопоставить существующие подходы распознавания по инерциальным данным и обосновать выбор рекуррентной модели. Далее предстоит спроектировать архитектуру канала данных и механизмы обратной связи, организовать сбор и разметку временных последовательностей, после чего обучить и валидировать LSTM-модель. Итоговой задачей становится проверка качества распознавания на тестовой выборке и интеграция результатов в обучающий макет с учётом устойчивости при потере сетевого соединения.

Объект исследования – процесс распознавания жестов по потокам данных инерциальных и магнитных датчиков в носимом устройстве. Предмет исследования – свойства временных последовательностей, которые влияют на корректность классификации жестов (представление сигналов, разбиение на последовательности, качество обучения и валидации), а также способы передачи распознанного класса пользователю через светодиодную индикацию. Практический фокус проекта связан с тем, как микроконтроллер собирает линейные и угловые ускорения и изменения магнитного поля Земли и как эти данные превращаются в вероятности принадлежности жесту.

Методическая база проекта опирается на анализ научных публикаций и инженерных решений по распознаванию жестов с использованием рекуррентных нейросетей и сравнением вариантов представления временного сигнала. Для построения теоретической рамки и выбора модели используется сравнительный подход: рассматриваются различия в процедурах обучения/валидации, выборе метрик качества и способах кодирования временной динамики. Организация данных выполняется через классификационную систематизацию: жесты G1–G4 и класс «none» G0 задаются как отдельные категории, а временные последовательности формируются по сценариям запуска/остановки записи. На этапе построения модели применяется обучение LSTM с подбором гиперпараметров и валидацией по раздельным выборкам; качество измеряется через стандартные метрики (Accuracy, precision, recall, F-меры) и матрицу неточностей. Такой набор методов нужен, чтобы связать требования обучающего сценария с измеримой работоспособностью распознавания и тем, как ошибки распределяются между классами.

Чтобы согласовать технические возможности датчиков и требования макета, проект начинается с постановки условий: палочка встроена внутрь обучающего макета и работает с потоками IMU (акселерометр и гироскоп) и магнитного датчика. На этом этапе фиксируются функции распознавания жестов, способ обратной связи пользователю (цветовая индикация) и сценарии обучения, где пользователь запускает и останавливает запись жеста. Параллельно задаются требования к устойчивости работы при потере связи с сетью, чтобы реакция системы не обрывалась на время внешних сбоев.

Далее исследовательский фокус смещается на выбор методики распознавания. Обзор подходов показывает, что для классификации жестов по временной динамике инерциальных сигналов хорошо подходят рекуррентные сети, и в проекте в качестве базовой модели выбирается LSTM. Сопоставление подходов учитывает не только архитектуру, но и то, как строятся входные представления последовательностей, как организуются обучение и валидация, а также какие метрики демонстрируют качество: Accuracy, precision, recall и F-меры. Такой выбор делает возможным честно оценить, насколько модель различает классы жестов при типичных погрешностях датчиков.

После выбора модели проект переходит к инженерной схеме и экспериментальной части. На уровне архитектуры определяется канал данных: микроконтроллер в палочке собирает линейные и угловые ускорения, изменения вектора магнитного поля и передаёт данные в вычислительный контур для обработки. Под это организуется сбор обучающей выборки: для жестов G1–G4 и класса «none» G0 формируются временные последовательности, а данные разделяются на обучающую и тестовую части (например, 70/30). Затем создаётся и обучается LSTM, подбираются гиперпараметры и критерии остановки, рассчитываются вероятности классов для каждого распознаваемого жеста. Эффективность оценивается на тестовой выборке с построением матрицы неточностей 5×5 для классов G0–G4 и анализом того, как модель ошибается в «близких» случаях, после чего результаты включаются в обучающий сценарий макета. Это обеспечивает пользователю понятную реакцию через светодиоды, а сценарий обучения остаётся расширяемым: при добавлении новых жестов устройство сохраняет общую логику сбора данных, обучения модели и выдачи ответа.