Master-class: How to record, analyze and annotate gestures and sign languages with MoCap technologies
During the master class we will record a mini-corpus of dialogues with the help of a motion capture equipment (Inertial Measurement Units, or “Neurons”). The MoCap data will be synchronized with the video of the mini-corpus, and visualized in the software ELAN. To do that, a general framework for qualitative analysis (ELAN) according to quantitative descriptors (kinematics timelines, relative location, velocity and acceleration) will be presented.
Besides the recording and the analysis framework, we will explore some MoCap uses for annotation; namely a leap motion controller to annotate handshapes of sign languages and probably a module for the visualization of gestural descriptors on an avatar.
These last developments are prototypes, which means we will be creating the future of multimodal studies in linguistics!
Мастер-класс 4. Как записывать, анализировать и аннотировать жесты и знаки жестового языка с помощью технологии захвата движения MoCap
Доминик Бутэ, Жан-Франсуа Жего, Анна Леонтьева,
Анастасия Ржешевская
Во время мастер-класса мы проведем и запишем на видео небольшой эксперимент, используя костюмы со специальными датчиками движения (инерционными единицами измерения, или «нейронами»). Далее мы синхронизируем данные MoCap (motion capture) с корпусом видео записей с помощью компьютерной программы ELAN. Мы расскажем об основах
анализа в ELAN, позволяющего изучать такие характеристики движения рук, как распределение движений во времени, относительное месторасположение, скорость и ускорение. Кроме того, мы рассмотрим, каким образом технология MoCap может использоваться для аннотации движения рук в жестовых языках: например, для анализа формы ладони с применением контроллера захвата движения. Мы также научимся применять модуль визуализации жестовых характеристик на аватаре.
Технологии, с которыми мы будем работать, только начинают внедряться, поэтому мы вместе будем создавать будущее полимодальных исследований!
Leaders:
- Associate Prof. Dominique Boutet, Ph.D. (Université de Rouen, France)
- Associate Prof., Jean-François Jego, Ph.D. (Université Paris 8, France)
- Anna Leontyeva (MSLU, Moscow; VU, Amsterdam)
- Anastasiya Rzheshevskaya, Ph.D. (MSLU, Moscow)