概要
Hand Drop Blocks は、Webカメラで両手の親指と人差し指のピンチ動作を検出し、落下ブロックをつかんで移動・回転するテトリス型のブラウザデモです。
このデモは、診断や治療方針の決定を目的としたものではありません。
両手協調、視空間操作、把持のタイミング、疲労や注意の変化などを観察・説明するための、教育・試作用ツールです。
ブラウザデモ
「Camera」ボタンを押すと、MediaPipe Hands を読み込み、カメラ入力を開始します。
両手をブロックの近くに置き、左右の手で同時にピンチすると、ブロックを把持した状態になります。
把持中は、手の動きに合わせてブロックを左右・下方向へ移動できます。
また、両手の位置関係を変えることで、ブロックを90度単位で回転できます。
カメラが使えない環境では、キーボード操作でも補助的に体験できます。
Webカメラで両手のピンチ動作を検出し、落下ブロックをつかんで移動・回転するテトリス型デモです。
このページで確認できること
- Webカメラによる両手ピンチ入力が成立しやすいか
- ブロックの把持、移動、回転、解除が理解しやすいか
- 両手操作と視空間操作の組み合わせが課題として成立するか
- 配置数、消去ライン、把持回数、ミス把持、経過時間にどのような変化が出るか
- カメラが使えない環境でも、キーボード補助操作で体験できるか
操作方法
カメラ操作
- 両手の親指と人差し指を近づけると、ピンチとして検出します。
- ブロックの近くで両手同時にピンチすると、ブロックを把持します。
- 把持中に手を動かすと、ブロックを左右・下方向へ移動できます。
- 両手の位置関係を変えると、ブロックを90度単位で回転できます。
- ピンチを解除すると、ブロックの把持を解除します。
キーボード操作
カメラが使えない場合や、動作確認を行う場合は、キーボードでも補助操作できます。
- 矢印キー：移動
- WASD：補助移動
- スペース：回転または決定操作
※実際の割り当てが異なる場合は、アプリ側の表示に合わせてください。
成功ルール
落下するブロックを配置し、横1列がすべて埋まるとラインが消去されます。
ブロックが上部まで積み上がるとゲームオーバーです。
計測される項目
このデモでは、以下の項目を確認できます。
- 配置数
- 消去ライン数
- 把持回数
- ブロック外でのピンチ回数
- 経過時間
- イベントログ
CSV保存ボタンを押した場合のみ、合成されたイベントログを端末に保存します。
カメラ映像は保存しません。
使用上の注意
- 安定した座位または立位で実施してください。
- 肩、肘、手指の疲労や痛みが強い場合は中止してください。
- Webカメラに両手が十分に入る距離で実施してください。
- 手元が明るく、背景と手の輪郭が見えやすい環境で使用してください。
- ピンチ検出は、照明、手の向き、カメラ性能、背景の影響を受けます。
- 計測値を比較する場合は、端末、カメラ、距離、照明、実施時間をできるだけ固定してください。
- 本デモの結果だけで、身体機能や認知機能を判断しないでください。