Download
Pose Analysisのダウンロード
iPhone / iPad だけで手軽に3次元ポーズトラッキングして、その場でデータ分析ができます。
医学、工学、スポーツなどの研究にご活用ください。
現在、β版が App Store からご利用になれます。
Pose Analysis についてAbout
Pose Analysis では、iPhone / iPad のカメラに映る被写体をリアルタイムに3次元ポーズトラッキングします。
この推定に用いている推論モデルは、複数の医学論文でも利用されているデジタルスタンダード社製の国産モデルです。
また、当該アプリではこの推論によって得られた各関節の座標データに対して、フィルタをかけたり、関節の角度を算出したり、それらのデータを手軽にグラフ表示する機能を備えている為、撮影したデータをその場で手軽に解析することができます。
勿論、それぞれの解析データはCSV形式でエクスポートされているので、お好みの環境で自由に解析することも可能です。
検出ポイント
- 右の耳
- 左の耳
- 右の目
- 左の目
- 鼻
- 右の肩
- 左の肩
- 右の肘
- 左の肘
- 右の手首
- 左の手首
- 右の親指の付け根
- 左の親指の付け根
- 右の中指の付け根
- 左の中指の付け根
- お腹
- 右の股関節
- 左の股関節
- 右の膝
- 左の膝
- 右の足首
- 左の足首
- 右のつま先
- 左のつま先
カメラ
カメラは以下の両方に対応しています。
- 全面カメラ
- 背面カメラ
フレームレート
以下のフレームレートから選択が可能です。
- 30fps
論文実績Paper results
スマートフォンアプリケーションTDPT-GTを用いたモーションキャプチャによる正常圧水頭症とパーキンソン病における歩行時の上下肢の動きの変動評価
この論文は、正常圧水頭症(iNPH)およびパーキンソン病(PD)患者における歩行時の上下肢の動きの変動をスマートフォンアプリケーション「TDPT-GT」を用いたモーションキャプチャで評価した研究です。 研究では、iNPHおよびPD患者23人ずつと健康な対照群2人を対象に、直径1mの円を歩く際の体の各部位の動きを30Hzで記録し、その変動を解析しました。 解析の結果、iNPHおよびPD患者群では、健康な対照群と比較して全ての体位で有意な変動の低下が見られました。 特に、iNPH患者ではPD患者よりも上下肢の変動がより低下していることが示されました。 この結果から、歩行時の体の動きの変動の低下は、iNPHおよびPD患者の歩行およびバランスの障害に寄与している可能性が示唆されました。 この研究は、スマートフォンアプリケーションを用いたモーションキャプチャによって、iNPHおよびPD患者の歩行の特徴を詳細に評価できることを示しており、今後の診断やリハビリテーションの指針として役立つ可能性があります。
人工知能による病的歩行の識別:iOSアプリケーション（TDPT-GT）によって取得されたマーカーレスモーションキャプチャ歩行データの解析
この研究は、神経学的診断において重要な歩行の評価に焦点を当てており、全身の動きを捉えることの難しさに挑戦しています。 目的は、iPhoneを用いて便利な記録を取得し、 深層学習に基づくアルゴリズムを確立することです。 2021年5月から2022年11月までの 間に、山形大学病院、滋賀大学、高畠町で特発性正常圧水頭症(iNPH)、パーキンソン病 (PD)、その他の神経筋疾患を持つ患者114名と健康なボランティア160名を対象に歩行データを収集しました。 iPhoneアプリケーションTDPT-GTを用いて、約1メートルの直径の円形の経路を歩く被験者を捉え、iPhoneカメラで撮影した二次元画像から3Dヒートマップを推定し、27の体のポイントの三軸30フレーム毎秒(fps)の相対座標を生成しました。 Light GBM（Light Gradient Boosting Machine）を用いた深層学習により、病的歩行と正常歩行を区別するモデルが構築され、ROC曲線の下の領域（AUC）が0.719という 結果を示しました。 特徴の重要度スコアは、右股関節のy座標が最も高く、次いで臀部の深さ、右膝の深さ、頭部中心のx座標が続きました。 結論として、iPhoneで捉えた病的歩行は、人工知能によって識別することができることが示されました。 この研究は、神経学的疾患の診断と治療のための歩行分析のための新しいアプローチを提供します。
深層学習スマートフォンアプリで推定された三次元座標から変換された体軸投影平面上の定量的歩行特徴評価
この論文は、深層学習モデルを用いて推定された三次元座標を基に、病的歩行を定量的に評価する方法について述べています。 研究では、15名の健康なボランティアが通常の歩行、シャッフリング歩行、短歩行、広歩行の4つの歩行パターンを実演しました。次に、特発性正常圧水頭症(iNPH)患者47名と高畠コホートの健康な高齢者92名の歩行をTDPTGTアプリケーションを用いて評価しました。 三次元座標から二次元相対座標を計算し、病的歩行に関連する二次元相対座標の指標を包括的に探索しました。 その結果、シャッフリング歩行の候補指標として股関節の角度範囲が30度未満、短歩行の候補指標として膝関節の角度範囲が45度未満、広歩行の候補指標として脚の外側シフトが0.1以上であることが示されました。 この研究により、TDPT-GTアプリケーションを用いて、大規模な三次元運動解析システムを必要とすることなく、さまざまな病的歩行パターンを簡単に評価できることが示されました。
機能紹介Function introduction
02
各関節の角度算出
解析対象のCSVを指定して、
フレームごとに各関節の角度を算出して適用
03
推定結果のビジュアライズ
iPad: 動画と姿勢推定結果の棒人間を再生しながら、
各関節の位置と角度をグラフで確認できる
iPhone: 各関節の位置と角度をアプリ上でグラフ表示し、
動きの変化を確認できる
また、出力されたRowデータに対して
以下のフィルタを適用したデータも確認できる
- カルマンフィルタ
- ローパスフィルタ
価格Price
- ポーズトラッキング
- 無制限（カメラで撮影しながら推定結果を棒人間で確認できる）
- CSVの出力・フィルタの適用
只今、β版につき無料！
注意事項
- 被写体は一人まで
同時に二人の姿勢推定はできません。 - 動作機器
iPhone11以降発売の機種。 Androidは未対応です。
分析画面での、動画、及び、棒人間のプレイヤー機能は iPad のみの対応です。
関連アプリのご紹介TDPT
TDPT -Three D Pose Tracker-
https://digital-standard.com/tdpt_lp/
- デジタル・スタンダード社製
- TDPTエンジンでVRMモデルをリアルタイムにコントロール
- VMCプロトコルを使ったモーションデータの送信
- ライブストリーミング
- モーションデータ出力（VMD/BVH形式） etc