모션캡쳐를 활용한 피겨스케이팅 채점기준 정량화 논문 - 하뉴 유즈루

 

motioncapture.mp4

2.11MB

 

人間科学研究　補遺号　2021　1－7（2021）
인간과학연구 보유호 2021-7 (2021)
特別寄稿 특별 기고
無線・慣性センサー式モーションキャプチャシステムの
フィギュアスケートでの利活用に関するフィージビリティスタディ
무선 및 관성 센서식 모션 캡처 시스템의
피겨스케이팅에서의 활용에 관한 실현가능성 연구
A Feasibility Study on Utilization in Figure Skating by A Wireless Inertia Sensor
Motion Capture System


Abstract 초록
The wireless inertia sensor type motion capture does not interfere with the operation of the device
wearer. As a result of the experiment, it became clear that when jumping figure skating on the skating rink
the position of each joint can be accurately obtained. In addition, by analyzing the skeleton, it is possible to
identify the center of gravity and the contact points （where the pressure increases on the ground and the
part where it is installed），and the jump strictly follows the rules. It was possible to quantitatively clarify
whether the jump was strictly according to the rules.
무선 관성 센서 유형 모션 캡처가 장치의 작동을 방해하지 않음
실험 결과, 스케이트장에서 피겨 스케이팅을 점프할 때 착용자는 각 관절의 위치를 정확하게 파악할 수 있습니다. 게다가, 골격을 분석함으로써, 다음과 같은 것이 가능하다
중력의 중심과 접지점을 확인합니다. 지면과 접지면에서 압력이 증가하는 지점을 확인합니다
설치된 부분과 점프는 엄격하게 규칙을 따른다. 정량적으로 명확히 할 수 있었다
점프가 엄격하게 규칙에 따랐는지 여부.

Key Words：Figure Skating, Wireless Inertia Sensor, Motion Capture, Feasibility Study

１．はじめに 들어가며
　人間の動作を記録するモーションキャプチャは従来は体に付けたマーカーを固定した複数台のカメラで捉え，マーカーの位置を計測することによって人体の動きを記録する光学的なシステムが主流であった。2007年にオランダのXsens社が角速度計および加速度センサーからなる慣性センサーを体の要所要所（主たる関節の前後）に装着し，慣性センサーから得られた情報を無線で処理用コンピュータに送信する無線・慣性センサ式モーションキャプチャシステムを発表し，光学式の弱点であったデータ取得場所の制限を取り除き，グラウンドやスケートリンクなどの広い場所でも人体の動きを記録することができるようになった。現在ではセンサーの小型化，高精度化が進んでいる。本稿では実際に無線・慣性センサ式モーションキャプチャシステムを装着し，アイススケートリンクでのスケーターの動きを取得できるか，またその利活用の可能性について論じる。
인간의 동작을 기록하는 모션 캡처는 예전에는 몸에 붙인 마커를 고정한 여러대의 카메라로 포착하여 마커의 위치를 계측함으로써 인체의 움직임을 기록하는 광학적인 시스템이 주류였다. 2007년에 네덜란드의 Xsens사가 각속도계 및 가속도센서로 구성된 관성센서를 신체의 요소요소(주요 관절 전후)에 장착하여 관성센서로부터 얻은 정보를 무선으로 처리용 컴퓨터에 송신하는 무선·관성센서식 모션캡처 시스템을 발표하여 광학식의 약점이었던 데이터 취득 장소의 제한을 제거하고 그라운드나 스케이트장 등 넓은 장소에서도 인체의 움직임을 기록할 수 있게 되었다. 현재는 센서의 소형화, 고정밀도화가 진행되고 있다. 본고에서는 실제로 무선·관성 센서식 모션 캡처 시스템을 장착해, 아이스 스케이팅 링크에서의 스케이터의 움직임을 그대로 구현할 수 있는지, 그리고 그 이용·활용의 가능성에 대해 논한다.

　現在フィギュアスケート界ではジャッジング（採点法）についての議論が盛んに行われている。近年フィギュアスケートは高難度化が著しく進んでおり，そのために審判員がわずか１秒以内に行われるジャンプを正確に判断することは至難となってきている。また，ジャンプの評価基準は明記されているものの曖昧な部分が多く，その試合の審判員の裁量に委ねられている部分が大きい。さらに，ジャンプの難易度だけではなく，評価するために判断する項目は，プラス項目が６つ，マイナス項目は20項目もある。もちろんジャンプだけではなく，スピン，ステップ，そして，技以外の部分でも評価をしなくてはならない。技以外の部分を差し引いて考えたとしても，ジャンプのプラス，マイナス項目とほとんど同じ程度の評価項目を，ショートプログラムでは７個，フリースケーティングでは12個の技の要素を判断していかなくてはならないい。しかも，世界選手権等の試合では，30人前後の演技を，基準が変わって不公平にならないように，全て同じ複数の審判員が判断し続けなくてはならない。したがって審判員の負担は計り知れない。
현재 피겨스케이팅계에서는 judging(채점법)에 대한 논의가 한창이다. 근래 피겨 스케이팅은 고난도화가 현격하게 진행되고 있어, 그 때문에 심판원이 불과 1초 이내에 행해지는 점프를 정확하게 판단하기는 매우 어려워지고 있다. 그리고 점프의 평가 기준은 명기하고 있지만 애매모호한 부분이 많아, 그 시합의 심판원의 재량에 맡겨져 있는 부분이 크다. 또한 점프의 난이도 뿐만 아니라 평가하기 위해 판단하는 항목은 플러스 항목이 6개, 마이너스 항목은 20개나 있다. 물론 점프뿐만 아니라 스핀, 스텝, 그리고 기술 이외의 부분에서도 평가를 해야한다. 기술 이외의 부분을 차치하더라도 점프의 플러스, 마이너스 항목과 비슷한 정도의 평가 항목을 쇼트 프로그램에서는 7개, 프리스케이팅에서는 12개의 기술 요소를 판단해야한다. 게다가 세계 선수권 등의 경기에서는 30명 내외의 연기 기준이 바뀌어 불공평하지 않도록 모두 같은 복수의 심판진이 판단하여 계속해야 한다. 따라서 심판진의 부담은 끝도 없다.
さらに，毎年ルールが改正されていくため，審判員は常に最新の基準をその度に覚え，当たり前のように１～２秒程度の時間で，全ての要素に対して評価していかなくてはならない。果たして冷静に判断している時間はあるのだろうか。全ての選手の全ての要素に対して，ガイドラインに沿った評価ができるのだろうか。現状では，ジャンプの高難度化が進んでいるからこそ，評価基準がなおざりになっていることを感じる。特にジャンプの離氷時の評価は非常に曖昧で，審判員の裁量に完全に委ねられているように感じる。実際に，インタビュー等で審判員の判断に苦言を呈している選手もいる。
　게다가 매년 룰이 개정되고있기 때문에 심판진은 항상 새로운 채점기준을 바뀔때마다 숙지해야하며, 당연히 1~2초 정도의 시간내에, 모든 요소에 대해서 평가해야만 한다. 과연 냉정하게 판단할 시간은 있을까. 모든 선수의 모든 요소에 대해서 채점기준에 따른 평가를 할 수 있을까. 현재로서는 점프의 고난도화가 진행되고 있기 때문에 평가 기준이 소홀하게 느낀다. 특히 점프 도약시의 평가는 매우 모호하여 심판의 재량에 완전히 맡겨진것처럼 느낀다. 실제로 인터뷰 등에서 심판진의 판정에 쓴소리를 하고 있는 선수도 있다.
　筆者は，カナダに拠点をおいて練習を積み重ねているが，ルールに対して試行錯誤したり，大会の結果を見てはどのようにジャンプを跳んでいくべきか，どのようなジャンプを跳ぶべきか，どのような技術が必要かという議論をしている。そんな状況下において，フィギュアスケートのジャンプについての詳細な動作が記録できれば，目指すべきジャンプやスケートスタイルが見えて，より一層フィギュアスケートが発展するのではないかと期待している。
필자는 캐나다에 거점을 두고 연습을 이어가고 있는데 규칙에 대해 시행착오를 겪거나 대회 결과를 보고는 어떻게 점프를 뛰어가야 하는지, 어떤 점프를 뛰어야 하는지, 어떤 기술이 필요한지에 대한 논의를 하고 있다.그런 상황에서 피겨스케이팅 점프에 대한 상세한 동작을 기록할 수 있다면, 목표로 해야 할 점프나 스케이트 스타일이 보여 한층 더 피겨스케이팅이 발전하지 않을까 기대하고 있다.

２．実験方法 실험방법
　使用したモーションキャプチャシステムは
NOITOM社製のPERCEPTION NEURON2.0で
あった。PERCEPTION NEURON2.0は小型セン
サー（12.5mm x 13.1mm x 4.3mm, 約1g）を装
着する際に，最大31個まで装着する数を自由に決めることができる（図１）。今回は，最大数である31個のセンサーを装着して測定した。解析に使用したソフトウェアは同社製のAXIS NEURON
（Axis Neuron Version: 3.8.42.8591, Calculation
Engine Version: 3.2.2.7251）であった。
사용한 모션 캡처 시스템은
NOITOM사의 PERCEPTION NEURON 2.0으로
있었다. PERCEPTION NEURON 2.0은 소형센
서(12.5mm x 13.1mm x 4.3mm, 약 1g)를 포장
도착할 때에 최대 31개까지 장착하는 수를 자유롭게 결정할 수 있다(그림 1).이번에는 최대수인 31개의 센서를 장착해 측정했다.해석에 사용한 소프트웨어는 동사제의 AXIS NEURON
（Axis Neuron Version: 3.8.42.8591, Calculation
Engine Version: 3.2.2.7251)이었다.

図１．小型センサーの装着数例 그림 1. 소형센서 장착 개수 예시（Noitom Ltd., 2019)

　使用したPCはApple社製　MacBook Pro （15-inch, 2016）
プロセッサ：2.6 GHz Intel Core i7
メモリ：16 GB 2133 MHz LPDDR3
グラフィックス：Radeon Pro 450 2 GB, Intel
HD Graphics 530 1536 MB
OS：MacOS Mojave バージョン10.14.6
である。
사용한 PC는 Apple의 MacBook Pro (15-inch, 2016)
프로세서: 2.6GHz Intel Core i7
메모리 : 16 GB 2133 MHz LPDDR3
그래픽스: Radeon Pro 450 2 GB, Intel
HD Graphics 530 1536 MB
OS : MacOS Mojave 버전 10.14.6
이다.
　測定にはWi-Fiモードを使用し，PCとの接続
は無線で行えるようにした。Wi-Fiモード時に
はモバイルバッテリーを使用する必要があるが， MOXNICE社製のUSB ２ポートで10000mAhの容 量があるモバイルバッテリーを使用した。サイズは約82 x82 x15mmであり，重量は約160g，出力は5V/2.1Aである。
측정에는 Wi-Fi 모드를 사용하여 PC와의 접속
은 무선으로 실시할 수 있도록 했다.와이파이 모드 시에는 모바일 배터리를 사용할 필요가 있지만 MOXNICE사제의 USB 2포트로 10000mAh의 용량이 있는 모바일 배터리를 사용했다. 사이즈는 약 82x82x15mm이며 중량은 약 160g, 출력은 5V/2.1A이다.
　小型センサーには遠心力によって装着ベルトから外れてしまう可能性と，氷から飛び散った氷のかけらが水滴となり，小型センサーが故障してしまう可能性等が考えられたため，事前にシリコン製の防水 テープで装着ベルトと小型センサーを固定し，防水 対策と遠心力対策を施した。
소형 센서가 원심력에 의해 센서를 장착한 벨트에서 떨어져 버릴 가능성과 빙판에서 얼음 싸라기가 소형 센서에 튀어 이슬이 맺혀서 고장날 가능성 등이 우려되어 사전에 실리콘제의 방수테이프로 장착 벨트와 소형 센서를 고정하고 방수대비와 원심력 대비를 하였다.

　今回の実験は氷上で行うという点から，
（１）リンクのサイズが30×60m程度であるため， リンクを大きく使って滑った場合，無線が途切れてしまうのではないか，もしくは，デー
タの測定がうまくいかないのではないか
（２）ジャンプ時の遠心力にセンサーが負け，飛 び散ってしまう可能性
（３）鉛直方向を軸とした回転速度が非常に高速 であるため，計測ミスを引き起こしてしま
わないか
（４）リンク内の低温によって計測ミスを引き起こしてしまわないか
（５）リンク内の湿度によって故障してしまわな いか
等が不安要素として挙げられた。
　全てテストしてみなくてはわからないものであっ たため，実施をしながら様子を見て，改善していく ように考えていた。
이번 실험은 빙상에서 실시한다는 점에서
(1)링크 사이즈가 30×60m 정도이기 때문에
링크를 크게 사용하여 미끄러졌을 경우 무선이 끊겨
끊어져 버리는 것은 아닌지, 혹은 데이타의 측정이 잘 되지 않는 것은 아닐
(2)점프시 원심력에 센서가 떨어져나갈 가능성
(3)연직 방향을 축으로 한 회전 속도가 너무 고속이라 계측 오류를 일으키진 않을지
(4)빙상장이 저온이라 계측 오류가 생기는건 아닐지
(5)빙상장 내 습도에 고장나 버리는 것은 아닌지
등이 불안요소로 꼽혔다.
　전부 테스트해 보지 않으면 알 수 없으므로 실행 하면서 상황을 지켜보고 개선해 나가고자 하였다.

　実施する内容は，本格的にジャンプの測定を始め る前に，試行として，筆者のあるプログラムのステッ プシークエンス（ステップやターンなどを連続で行 う要素）を２回程度，状況によってはキャリブレー ションを重ねながら，滑るスピードや身体運動の速さなどを臨機応変に変えた。ジャンプは，離氷時にエッジを滑らせながら遠心力を使い加速，その勢い を回転やジャンプ力に使うジャンプで，フィギュア スケートの中で基礎となるジャンプのループジャン プと，離氷時に右足のトウ（ブレードの前側にあるギザギザの部分）を氷に刺し，その勢いや直線運動速度を急停止させることによって上昇する力を得て 離氷するジャンプであるフリップジャンプを実施した。この２種のジャンプは，離氷する際のきっかけが全く違うメカニズムであり，比較する際に相違点 が大きく出るのではないかと期待し，この２種を実施することにした。また，アクセルジャンプはこの２種とも，その他のジャンプとも全く違い，前向き に離氷し，回転しながら後ろ向きで着氷する唯一の ジャンプであるため，アクセルジャンプの実施もす
ることにした。実施するのは基礎的な動きを確認するための１回転ジャンプと，ある程度の技量が求め られる３回転ジャンプ，そして，現時点ではアクセ ルジャンプの中で一番回転数の多い，３回転半アクセルジャンプを行った。慣性センサー式モーションキャプチャを装着したままで行う必要があり，遠心力や重さ，運動制限などがあるため，挑戦的であるが，破損や転倒，怪我等に注意しながらも，３回転半アクセルジャンプを慣性センサー式モーションキャプチャで測定することができるかを知る必要が
あると考え，実施することとした。したがってジャンプの実施は，１回転ループジャンプ，１回転フリップジャンプ，１回転半アクセルジャンプ，３回転ループジ나 ャンプ，３回転フリップジャンプ，３回転半アクセルジャンプを各２回ずつ実施した。
실시하는 내용은 본격적으로 점프의 측정을 시작하기 전에 시행으로서 필자가 어떤 프로그램의 스텝 시퀀스(스텝이나 턴 등을 연속으로 실시하는 요소)를 2회 정도, 상황에 따라서는 교정을 거듭하면서 미끄러지는 속도나 신체운동의 속도 등을 임기응변으로 바꾸었다. 점프는 도약시에 엣지를 기울이면서 원심력을 사용해 가속, 그 기세를 회전이나 점프력에 사용하는 점프로 피겨스케이팅 중 기초가 되는 점프의 루프 점프와 도약시에 오른발의 토우(날 앞쪽에 있는 톱니 부분)를 얼음에 찍어 그 기세나 직선 운동 속도를 급정지시킴으로써 추진력을 얻어 도약하는 점프인 플립 점프를 실시했다. 이 2종의 점프는 도약하는 기전이 전혀 다른 메커니즘으로 비교할 때 차이점이 뚜렷하게 나오지 않을까 기대하여 이 2종을 실시하기로 했다. 또한 액셀 점프는 다른 점프와 전혀 다르게 앞으로 도약하여 회전하면서 뒤로 착지하는 유일한 점프이기 때문에 액셀 점프도 실시하기로 한다.
실시하는 것은 기초적인 움직임을 확인하기 위한 1회전 점프와 어느 정도의 기량이 요구되는 3회전 점프, 그리고 현시점에서는 액셀러 점프 중에서 가장 회전수가 많은 3회전 반 액셀 점프를 실시했다. 관성 센서식 모션 캡처를 장착한 채로 실시할 필요가 있고 원심력이나 무게, 운동 제한 등이 있기 때문에 도전이지만 파손이나 전도, 부상 등에 주의하면서도 3회전 반 악셀 점프를 관성 센서식 모션 캡처로 측정할 수 있는지 알 필요성이 있다고 생각해 실시하기로 했다. 따라서 점프의 실시는, 1회전 루프 점프, 1회전 플립 점프, 1회전 반액셀 점프, 3회전 루프 점프, 3회전 플립 점프, 3회전 반액셀 점프를 각 2회씩 실시했다.

３．実験結果 실험 결과
　氷上でのテストとして，初めにステップシークエンス（ステップやターンなどを連続で行う要素）を行なって，どのようにデータが取れるかを試してみた。特に注目していたのは不安要素（１）の点である。
빙상에서의 테스트로서 처음에 스텝 시퀀스(스텝이나 턴등을 연속으로 실시하는 요소)를 실시해, 어떻게 데이터를 얻을 수 있는가를 시험해 보았다. 특히 주목하고 있던 것은 불안 요소(1)의 점이다.
陸上でのデータ測定はパソコンの近く，加えてルーターの近くで行なっていたが，離れてしまうことでどれほどの影響があるのかが未知であった。
육상에서의 데이터 측정은 PC의 근처, 덧붙여 라우터의 근처에서 실행하였으나, 떨어져 버려 어느 정도의 영향이 있을지가 미지수였다.
しかし， 結果は極めて良好であった。このデータが一番精度高く取得できていた。このデータをとった事によって，エッジの向きや角度，ターンなどへのセンサーの追跡能力の高さと信頼度が極めて高いものとなった。このようなデータを多く取得していく事によって信頼性の高い機械学習用データセットは用意できると考えられる。AXIS NEURONで出力したモデルでは，接地している足の関節が赤く表示されるようになっているが，これもうまく機能した。ステップシークエンス中では片足の時間がほとんどであり，接地していない方の足は非常に自由度が高い動きをしていることが多い。しかし，ほとんど誤作動なく， 接地している方の足の表示に成功していた。ところが，これは慣性式センサーの弱点でもあるが、歩くような動作をしていない状態での滑走は慣性状態であるゆえに水平方向の移動データを測定することはできず，出力されたデータは，その場に留まっているように表示されていた。ただ滑っているような足の動き自体は見られているので，座標移動だけができていない可能性がある。
그러나 결과는 지극히 양질이었다. 가장 정밀도 높은 데이터를 얻을 수 있었다. 이 데이터를 통해 엣지의 방향이나 각도, 턴등에 대한 센서의 추적 능력의 우수함과 신뢰도가 지극히 높았다. 이러한 데이터를 많이 취합해 나가는 것으로 말미암아 신뢰성이 높은 기계 학습용 데이터 세트를 마련할 수 있다고 생각된다. AXIS NEURON으로 출력한 모델에서는 접지하고 있는 다리의 관절이 빨갛게 표시되도록 되어 있지만, 이것도 잘 기능했다. 스텝 시퀀스 중에서는 한쪽 다리의 시간이 대부분이며, 접지하고 있지 않은 쪽의 다리는 굉장히 자유로운 움직임을 하고 있는 경우가 많다. 그러나 거의 오작동 없이 접지하고 있는 쪽의 발 표시에 성공했다. 그러나 관성식 센서의 약점이기도 하지만, 걷는 동작을 하고 있지 않은 상태에서의 활주는 관성 상태이기 때문에 가로 방향의 이동 데이터를 측정할 수 없고, 출력된 데이터는 그 자리에 머무르고 있는 것처럼 표시되어 있었다. 활주중인 듯한 발의 움직임 자체는 보여주어 좌표 이동만 안 되어 있을 가능성이 있다.
　１回転半アクセルジャンプでは離氷時の腕の挙動，右足の振り上げ動作が乱れたが，他にはあまり特別に変な挙動をしている部分は見当たらなかった。３回転半アクセルジャンプでは，非常に高い転倒リスクや，センサーが飛んでしまう可能性があったと感じたが，実施してみると非常に安定してできた。慣性の要素が大きいジャンプの高さと跳躍距離のデータは仕方ないとしても，回転はしっかりと追えていた。これは極めて優良なデータになったのではないかと感じる。３回転半の回転速度を追うことができ
ることが証明できたので，４回転ジャンプに関しても同様に可能であろう。また，測定器具にも影響はなく，固定や防水を正確にすれば４回転ジャンプも被験者の技術や慣れがあれば，装着したままでも測定が可能になると感じた。
1회전 반 악셀 점프에서는 도약시의 팔 움직임, 오른발의 쳐들기 동작이 흐트러졌지만, 그 밖에는 그다지 특이한 거동은 보이지 않았다. 3회전 반 악셀 점프에서는 상당한 뒤집힘의 위험이나 센서가 날아가 버릴 가능성이 있었다고 느꼈지만, 실행해 보니 매우 안정적이었다. 관성적 요소가 큰 점프의 높이와 도약 거리의 데이터는 어쩔 수 없다고 해도, 회전은 확실히 따라왔다. 이것은 굉장히 양질의 데이터라고 느낀다. 3회전 반의 회전속도를 따라갈 수 있다는 것을 데이터로 증명할 수 있었으므로, 4회전 점프에 관해서도 마찬가지로 가능할 것이다. 또한 측정 기구에 영향은 없었고, 고정이나 방수를 잘하면 4회전 점프 역시 피험자의 기술 등 익숙해지면 장착한 채로도 측정이 가능하다고 느꼈다.
PERCEPTION NEURON2.0で測定したデータ
は，コンタクトポイント（Contact points）という機能がAXIS NEURONにて出力した時に存在す
る。これは，地面と設置している部分で，圧力が高まっている箇所を図２のように，赤く表示するという機能である。脚には前後に５個ずつのポイントで10個のポイント，手と尾椎部にもコンタクトポイントを適用することも可能である。
PERCEPTION NEURON 2.0으로 측정한 데이터
은 접점 포인트(Contact points)라는 기능이 AXIS NEURON으로 출력했을 때 존재한다.
이것은 지면과 설치하고 있는 부분으로 압력이 높아지고 있는 곳을 그림 2와 같이 붉게 표시하는 기능이다. 다리에는 전후에 5개씩의 포인트로 10개의 포인트, 손과 엉덩이에도 접촉 포인트를 적용하는 것도 가능하다.

図２그림2. 足底のコンタクトポイント발바닥 접촉포인트（Noitom, 2020）

　ステップシークエンスでは，ターン等が多数存在しているが，それぞれの重心の移動やエッジの乗っている場所，エッジの角度等を観察することができた。感覚や本来あるべきエッジの角度等がデータと一致していたため，この機能は，うまく動作していることがいえる（図３）。
스텝 시퀀스에서는 턴 등이 다수 존재하고 있지만, 각각의 중심의 이동이나 엣지가 타고 있는 장소, 엣지의 각도 등을 관찰할 수 있었다. 감각이나 원래 있어야 할 엣지의 각도등이 데이터와 일치하고 있었기 때문에, 이 기능은 제대로 동작하고 있다고 할 수 있다(그림 3).

図３그림3． ステップシークエンス時の一部を水平方向스텝시퀀스시 일부를 수평방향（왼쪽） 下から見た画像아래에서 본 이미지(오른쪽)

　図３の左の画像から，右足が赤く表示されているため，荷重は右足に乗っている，所見として踵の外側に乗っていることがわかるが，下から見ると，踵の外側が赤く表示されていることがわかる。
그림 3의 왼쪽 이미지를 보면 오른발이 빨갛게 표시되어 있기 때문에 하중은 오른발에 실려 있다, 필자의 소견으로 발꿈치의 바깥쪽에 실려 있는 것을 알 수 있는데, 아래에서 보면 발꿈치의 바깥쪽이 붉게 표시되어 있음을 알 수 있다.
　データを分析するまではあまり注目していなかった機能であったが，離氷直前の踏み切り時に踏み切りの足の足関節が赤く表示されることも含め，これらの機能がジャンプのジャッジングに極めて有用であることがわかった。
　데이터를 분석하기 전까지는 별로 주목하지 않았던 기능이었지만, 도약 직전 엣지시에 발관절이 빨갛게 표시되는 것을 비롯한 기능들이 점프 채점하기에 매우 유용함을 알게되었다.
　ループジャンプは右足で遠心力を利用しながらジャンプするが，飛び上がるまでに遅い，つまり，離氷せずに回転数を稼いでから離氷するようなジャンプを行うスケーターらがいる。これは正しい技術ではなく，稚拙なジャンプであるが，これを現ジャッジングシステムでは減点対象であると明記してあるのにもかかわらず，離氷を判定する基準がないため，これの適用がうまくできずにいた。
루프 점프는 오른발로 원심력을 이용하면서 점프하는데, 뛰어오를 때까지 느린, 즉 도약 이전에 미리 회전수를 벌은 후 도약하는 점프를 하는 스케이터들이 있다. 이는 올바른 기술이 아닌 꼼수 점프지만, 이것을 현 채점시스템에서는 감점 대상이라고 명기하고 있음에도 불구하고 도약을 판정하는 기준이 없기 때문에, 감점 적용이 잘 되지 못하고 있었다.
しかし，稚拙なジャンプが現在，広く普及しており，ジャンプの難易度自体が大きく変わってきている。減点措置が行われていないため，これをよしとし，稚拙なジャンプを推し進めているコーチも存在する。この重心を表示する機能を使用すれば，どの地点まで離氷していないのかが簡単にわかる。また，これを数値化し，離氷前のエッジの角度の基準を設定し，時間などをコンピューター上に設定する事によって，数値として，人間の目ではなく，公正な判断基準で判断することができるようになる。これは今のフィギュアスケート界において，非常に大きな発見であると考える。
그러나 꼼수 점프가 현재 널리 난립하고 있어 점프의 난이도 자체가 어렵게 변하고 있다. 감점 처리가 이루어지지 않고 있기 때문에, 이걸 좋다고 꼼수 점프를 미는 코치도 존재한다. 중심을 표시하는 기능을 사용하면 어느 지점까지 도약하고 있지 않은지를 간단히 알 수 있다. 또한 이것을 수치화해, 도약전의 엣지 각도 기준을 설정하고, 시간 등을 컴퓨터상에 설정함으로써, 인간의 눈이 아니라 수치를 통해 공정한 판단 기준으로 판단할 수 있게 된다. 이는 지금의 피겨스케이팅계에 있어서 매우 커다란 발견이라고 생각한다.
　フリップジャンプでは，インサイドで飛ばなくてはいけないというルールが存在する。同じ左足で，後方に滑りながら，右足のトウを氷につく事によってジャンプするルッツジャンプがあり，それらを区別するためにISU（International Skating Union）では，インサイドで踏み切ったジャンプをフリップジャンプ，アウトサイドで踏み切ったジャンプをルッツジャンプと規定している。フリップジャンプを実施しているときにアウトサイドで踏み切ってしまうと，減点措置が取られる。
플립 점프에서는 인사이드로 뛰어야한다는 룰이 존재한다. 같은 왼발로 후방으로 미끄러지면서 오른발의 토우를 얼음에 기울여 점프하는 러츠 점프가 있으며, 그것들을 구별하기 위해 ISU(International Skating Union)에서는 인사이드 엣지로 뛴 점프를 플립 점프, 아웃사이드 엣지에서 뛰는 점프를 러츠 점프로 규정하고 있다. 플립 점프를 실시하고 있을 때 아웃사이드 엣지해버리면 감점 처리된다.
　これは明確な基準があるのにもかかわらず，それぞれの試合によって（審判員によって）差が生じている。また，現審判員は１方向からしか見ることができないという物理的な制限があり，プログラムの振付師やスケーターのコーチによっては審判員の死角になるようにフリップジャンプ，ルッツジャンプを配置している。これでは本当にエッジを見分けているとは言えない。しかし，この機能によって，親指側に重心が寄っていればインサイド，小指側に重心が寄っていればアウトサイドと明確に判断することができる。実際，今回のサンプルのフリップジャンプで，１回転ジャンプではインサイドに乗れているが，３回転ジャンプではアウトサイドに乗っていることが明確にわかる（図４）。
이것은 명확한 기준이 있음에도 불구하고, 각각의 시합에 의해서 (심판진에 의해서) 차이가 발생하고 있다. 또 현 심판진은 한 방향에서만 볼 수 있는 물리적인 제약이 있어, 프로그램의 안무가나 스케이터의 코치에 따라서는 심판원의 사각지대가 되도록 플립 점프, 러츠 점프를 배치하고 있다. 이래서는 정확히 엣지를 판독하고있다고 할 수 없다. 그러나 모션캡쳐 기능을 통해 엄지쪽에 중심이 붙어 있으면 인사이드, 새끼 손가락쪽에 중심이 붙어 있으면 아웃사이드라고 명확하게 판단할 수 있다.실제로, 이번 샘플의 플립 점프에서, 1회전 점프에서는 인사이드에 탈 수 있지만, 3회전 점프에서는 아웃사이드에 타고 있는 것을 명확하게 알 수 있다(그림 4).
　これによって，ジャッジの視覚による判断ではなく，公正な基準に則った判断ができるようになる。
모션캡쳐를 통해 심판의 시각에 의한 판단이 아니라, 공정한 기준에 근거한 판단을 할 수 있게 된다.
　また，フリップジャンプやルッツジャンプ，トウループジャンプの３種類のジャンプでは，トウを氷について飛ぶという特徴があるが，最近はトウをつかずに，エッジを氷につけ，本来の踏み切りよりも長い時間離氷せず，回転を稼ぐジャンプがある。これも稚拙なジャンプであるが，これについてもISUで減点対象になることを明記しているが，減点されないことが多い。こちらのパターンはほとんどの場合が減点対象にならず，回転不足の対象にもならないため，率先して指導を行なっているクラブも存在する。
또 플립 점프나 러츠 점프, 토루프 점프의 3종류의 점프에서는 토우를 얼음에 붙여서 나는 특징이 있지만, 최근에는 토우를 붙이지 않고 가장자리를 얼음에 붙여 원래 엣지보다 긴 시간 동안 도약하지 않고 회전수를 버는 점프가 있다. 이것도 꼼수 점프라, 이에 대해 ISU에서 감점 대상임을 명기하고 있지만, 감점되지 않는 경우가 많다. 이런 패턴은 대부분의 경우가 감점 대상이 되지 않고, 회전수 부족의 대상도 되지 않기 때문에, 발벗고 지도하고 있는 클럽도 존재한다.

図４그림4． 左は１回転フリップジャンプ왼쪽 1회전 플립점프，右が３回転フリップジャンプ 오른쪽 3회전 플립점프

 

図５그림5．フリップジャンプ플립점프

　これについても，トウをついたあと，トウをついている足に赤い表示が長く点灯しているかどうかで判断が簡単にできる。フリップジャンプは左足で後ろに滑りながら，右足のトウを氷に突いて飛ぶきっかけを作る（図５）が，ループジャンプは右足に乗って後ろに滑り，カーブを急激にかけることによって遠心力を生み出し，それを回転と跳躍力につなげて飛ぶ（図６）。本来，全く違う理論で違う見た目のジャンプであるが，ループジャンプに非常に似通ったフリップジャンプを飛ぶことができる。
　이것에 대해서도, 토우를 찍은 뒤, 토우를 찍고 있는 발에 붉은색 표시가 길게 점등하고 있는지 아닌지로 간단하게 판단할 수 있다. 플립 점프는 왼발로 뒤로 미끄러지면서 오른발의 토우를 얼음에 찍어 뛰는 도약점을 만들지만(그림 5). 루프 점프는 오른발을 타고 뒤로 미끄러져 커브를 급격하게 걸어 원심력을 만들어, 그것을 회전과 도약력에 연결하여 뛴다(그림 6). 원래 전혀 다른 이론에 다른 형태의 점프이지만꼼수 점프로는루프 점프와 매우 흡사한 후립점프를 뛸 수 있다.

図６그림6．ループジャンプ룹점프

　これは，フリップジャンプの際，右足のトウではなくエッジに乗って飛ぶことによって，ほぼループジャンプと同じ原理で飛ぶことができ，さらに本来のフリップジャンプではあり得ない回転を離氷前にすることが可能となる。今回のサンプルではそのようなジャンプではなかったため，トウを突いてから，離氷するまでに右足が赤く表示されることはなかった。ところが，３回転ジャンプに関しては，右足が離氷前に一瞬赤く表示された。つまり，回転数を増やそうとすると右足に乗る時間が少しずつ増えやすい傾向があるということがわかる。比べて，ループジャンプは右足がはっきりと長く，赤く表示されている。これは当たり前の結果であるが，稚拙なフリップジャンプでは，この現象がフリップジャンプの右足でも起きる。この赤く表示される時間から，重心がどのぐらい右足に乗っていて回転しているかを測定することができる。それらを平均化し，理想のジャンプ象を測定しながら，許容範囲の基準を作り，どこからが稚拙なジャンプであるかという風に明確化していくことが可能である。ルッツジャンプ，トウループジャンプも同じような現象が起こる可能性があり（図６），また，ループジャンプ，サルコウジャンプ，アクセルジャンプにしても，長く離氷前の回転動作を取る可能性がある。しかし，これによって，全ジャンプの稚拙な踏み切りへの，ジャッジによる基準の差異などを根絶していくこと，ひいては，稚拙な振り切りが少なくなり，本来規定されているジャンプが増えるのではないかと考える。
이것은 플립 점프 시 오른발의 토우가 아니라 엣지를 타고 뛰는것이서 거의 루프 점프와 같은 원리로 뛸 수 있고, 더욱이 원래의 플립 점프에서는 있을 수 없는 도약 전에 회전을 비비는 것이 가능해진다. 이번 예제에서는 그꼼수점프가 아니므로 토우를 찍고 나서 도약할 때까지 오른발이 빨갛게 표시되는 일은 없었다. 그런데 3회전 점프에 관해서는 오른발이 도약 전에 순간 빨갛게 표시되었다. 즉, 회전수를 늘리려고 하면 오른발을 타는 시간이 조금씩 늘어나기 쉬운 경향이 있다는 것을 알 수 있다. 이에 비해 루프점프는 오른발이 뚜렷하게 길고 빨갛게 표시되어 있다. 이는 당연한 결과이지만, 꼼수 플립 점프에서는 이 현상이 플립 점프의 오른발에서도 일어난다. 빨갛게 표시되는 시간으로 말미암아 중심이 어느정도 오른발에 실려 있으며 회전하고 있는지 측정할 수 있다. 그것들을 평균화하여 '이상적인 점프상'을 측정하고, 허용 범위의 기준을 만들어, 어디서부터가 꼼수 점프라는 식으로 명확히 규정해나갈 수 있게 된다. 러츠 점프, 토루프 점프도 같은 현상이 일어날 가능성이 있으며(그림 6), 또 루프 점프, 살코 점프, 액셀 점프만 해도 도약 이전에 길게 회전수를 비비고 들어갈 가능성이 있다. 그러나, 모션 캡처를 통해, 전체 점프의 꼼수 롱엣지, 판정에 의한 기준의 차이등을 근절해 가는 것, 나아가 꼼수 롱엣지가 줄고, 원래의 정석 점프가 증가하게 되지 않을까 싶다.
　全体として，飛ぶ瞬間までの動作のデータについては極めて良い精度で取れていると感じる。飛ぶ瞬間のデータがうまくとれれば，ジャンプの種類の判定や飛ぶまでの細かい減点対象，目では追えきれないものや，判断基準が人間によって違うものも数値化し，基準を作ることは可能ではないかと考える。
전반적으로 뛰는 순간까지의 동작 데이터에 대해서는 상당히 좋은 정밀도로 얻을 수 있다고 느낀다. 뛰는 순간의 데이터를 잘 얻을 수 있다면 점프 종류의 판정이나 뛰기까지의 세세한 감점 대상, 눈으로는 못 쫓아가는 것이나, 사람에 따라 판단 기준이 달라지는 것도 수치화해 기준을 만드는 것이 가능하다고 본다.
一人のジャンプだけではできないかもしれないが，ISUなどの機関が有力な国の連盟に強化選手を使って，少しずつデータをとることを義務付けしてAIを作ったらジャンプに関してだけではなく，ステップやスピンなどの技術的な判定は完全にできるように感じた。ただし，着地時のデータについては疑問が残るものも多い。膝の角度や着地時の回転角度の精度は疑わしい。したがって，現状では，回転数の判断の自動化は厳しい。しかし，これについては複数台カメラを用意し，任意の見易い角度からの映像をスロー再生で着地点をしっかりと判断することは可能であるため，この技術に頼りきりになる必要性 はない。
한 사람의 점프만으로는 안 될지 모르지만 ISU 등의 기관에서 유력한 나라의 연맹에 국가대표 선수를 기용하여 조금씩 데이터를 취합하는 것을 의무화하여 AI를 만든다면 점프에 관해서 뿐만 아니라 스텝이나 스핀 등의 기술적인 판정은 완전히 가능할것으로 느꼈다. 다만, 착지시의 데이터에 대해서는 의문이 남는 것도 많다. 무릎 각도나 착지 시 회전 각도의 정확도는 의심스럽다. 따라서, 현단계에서는 회전수의 판정 자동화는 어렵다. 그러나 이에 대해서는 카메라 여러대를 준비하여 가장 보기 쉬운 각도에서 영상을 정밀 재생하여 착지점을 확실히 판단하는 것은 되기 때문에, 모션 캡처 기술에만 전적으로 의지할 필요는 없다.
　フィギュアスケートにおいてこのモーションキャプチャーは極めて有用であると考える。
피겨스케이팅에서 모션 캡처는 전적으로 유용하다고 판단된다.

４．考察・まとめ 고찰 및 정리
　フィギュアスケートにおけるIT技術の利活用の実例として慣性式・無線式モーションキャプチャによる実験研究を行った。今回の実験で，フィギュアスケートにおいては，モーションキャプチャ技術により，ジャンプの定量的な分析が可能となりうるという点で有用であることが明らかになった。技術改革はもちろん，遠隔での指導にも使えるだろう。
피겨스케이팅에서의 IT기술 활용의 실례로서 관성식·무선식 모션 캡처에 의한 실험연구를 실시했다. 이번 실험에서 피겨 스케이팅에 있어서는 모션 캡처 기술에 의해 점프의 정량적인 분석이 가능해질 수 있다는 점에서 유용한 것이 밝혀졌다. 기술 개혁은 물론 원격 지도에도 활용할 수 있을 것이다.
　現在機械学習分野の最重要課題として，一般的な１台のビデオカメラでのビデオ画像から人体の３次元骨格を推定することが研究されている。２次元での骨格推定はすでに実用的な精度に達しており，３次元に関しても数年のうちにリアルタイムで十分な精度を推定できるようになると予想されている（加藤，2019a,b）。ただ，これら機械学習で利用している学習用データセットは「電話を掛ける」、「歩行をする」と言った生活上での様々な動作を大掛かりな光学式モーションキャプチャを使って取得したもので、フィギュアスケートのジャンプ等の技のデータはなく、フィギュアスケート独特の動作を検出するモデルを作成するには不適当である（Ionescu, Papava, Olaru & Sminchisescu, 2014）。
현재 기계 학습 분야의 최대 중요 과제로서 일반적인 1대의 비디오 카메라에서의 비디오 영상으로부터 인체의 3차원 골격을 추정하는 것이 연구되고 있다. 2차원에서의 골격 추정은 이미 실용적인 정밀도에 이르렀으며, 3차원에 관해서도 수년 안에 실시간으로 충분한 정밀도를 추정할 수 있게 될 것으로 예상되고 있다(카토, 2019a,b). 다만, 이들 기계학습에서 이용하고 있는 학습용 데이터 세트는 '전화하기', '보행하기'같은 생활상의 다양한 동작을 광범위하게 광학식 모션 캡처를 사용하여 얻은것으로써 피겨스케이팅 점프 등의 기술 데이터는 없으며 피겨스케이팅 특유의 동작을 집어내는 모델을 작성하기에는 부적절하다(Ionescu, Papava, Olaru & Sminchisescu, 2014).
　今回のような無線式慣性センサー式モーションキャプチャを実際のスケートリンクでビデオ画像の撮影と同期させながら使用することにより、フィギュアスケートの独特の動作の推定に特化したデータセットを作成することが可能である。そうして作成されたデータセットで学習させることによりビデオ画像からの3次元骨格推定が高精度で実現できる。
이번과 같은 무선식 관성 센서식 모션 캡처를 실제 스케이트 링크에서 비디오 이미지 촬영과 동기화시키면서 사용함으로써 피겨 스케이팅만의 독특한 동작 추정에 특화된 데이터 세트를 작성하는 것이 가능하다. 그리하여 작성된 데이터 세트로 학습시킴으로써 비디오 영상으로부터의 3차원 골격 추정이 높은 정밀도로 실현될 수 있다.
そうすれば、今回の実験で使用したセンサー等特別な機器を使用することなく，TV中継などで撮影される画像によりモーションキャプチャー・データが取得可能となる。
그리하면 이번 실험에서 사용한 센서등 특별한 기기를 사용하지 않고도, TV 중계 등에서 촬영한 영상을 통한 모션 캡처·데이터 취득이 가능하다.


付記 덧붙임
　本稿は「フィギュアスケートにおけるモーションキャプチャ技術の活用と将来展望（羽生結弦 2020年度早稲田大学人間科学部卒業研究論文）」の一部に加筆・修正を行ったものである。
본고는 '피겨스케이팅에서의 모션 캡처 기술의 활용과 미래 전망(하뉴 유즈루 2020년도 와세다 대학 인간과학부 졸업 연구논문)'의 일부에 추가·수정한 것이다.

参考文献 참고문헌
Noitom Ltd.（2019）．AXIS NEURON USER GUIDE
< https://www.aiuto-jp.co.jp/download.
php?id=91> （2020年7月14日）
I o n e s c u , C . , P a p a v a , T . , O l a r u , V . , &
Sminchisescu, C.（2014）．Human3.6M: Large
Scale Datasets and Predictive Methods for 3D
Human Sensing in Natural Environments.
IEEE Transactions on Pattern Analysis and
Machine Intelligence, 36（7），1325-1339.
富士通（2019）．国際体操連盟が正式採用した「AI自動
採点システム」はスポーツ界をどう変えるのか
FUJITSU JOURNAL
<https://blog.global.fujitsu.com/jp/2019-06-
28/01/>（2020年７月14日）
International Skating Union（2 0 2 0）．ISU
Communication <https://www.isu.org/figure￾skating/rules/fsk-communications/24665-isu￾communication-2334/file>（2020年７月14日）
加藤直樹（2019a）．コンピュータビジョンの最新論文調
査 2D Human Pose Estimation 編 <https://
engineer.dena.com/posts/2019.11/cv-papers-19-
2d-human-pose-estimation/>（2020年７月14日）
加藤直樹（2019b）．コンピュータビジョンの最新論文調
査 3D Human Pose Estimation 編 <https://
engineer.dena.com/posts/2019.12/cv-papers-19-
3d-human-pose-estimation/>（2020年７月14日）
Noitom（2020）．Axis Neuron Reference Manual
<https://neuronmocap.com/system/files/
software/Axis%2 0Neuron%2 0User%2 0
Manual_V3.8.1.5.pdf>（2020年７月14日）


원본 :
https://waseda.repo.nii.ac.jp/?action=pages_view_main&active_action=repository_view_main_item_detail&item_id=64787&item_no=1&page_id=13&block_id=21