Seeing with the Hands: A Sensory Substitution That Supports Manual Interactions

[arataito17]

Links

• Paper: https://seeingwiththehands.com/assets/SeeingWithTheHands_CHI25_Preprint.pdf
• Movie:
• Project Page:

Abstract

Sensory-substitution devices enable perceiving objects by translating one modality (e.g., vision) into another (e.g., tactile). While many explored the placement of the haptic-output (e.g., torso, forehead), the camera’s location remains largely unexplored—typically seeing from the eyes’ perspective. Instead, we propose that seeing & feeling information from the hands’ perspective could enhance flexibility & expressivity of sensory-substitution devices to support manual interactions with physical objects. To this end, we engineered a back-of-the-hand electrotactiledisplay that renders tactile images from a wrist-mounted camera, allowing the user’s hand to feel objects while reaching & hovering. We conducted a study with sighted/Blind-or-Low-Vision participants who used our eyes vs. hand tactile-perspectives to manipulate bottles and soldering-irons, etc. We found that while both tactile perspectives provided comparable performance, when offered the opportunity to choose, all participants found value in also using the hands’ perspective. Moreover, we observed behaviors when “seeing with the hands” that suggest a more ergonomic object-manipulation. We believe these insights extend the landscape of sensory-substitution devices.

Approach

手のひら側に小型カメラを装着し、手背に5×6の電気触覚マトリクスを配置した新規の感覚代替デバイスを開発しました。カメラ映像をOpenCVで輪郭抽出し、マトリクス上の電極に対応づけて刺激を送出します。ユーザスタディでは、視覚を遮断した上で①「手装置のみ」「頭装置のみ」を用いた4種の手動操作タスク、②「手装置・頭装置・両者任意切替」を用いた握手タスク、の二相を実施し、操作時間・誤操作数・認知負荷・身体負荷・動作軌跡・不良姿勢発生を計測しました ​

Strong Point

• 手視点による感覚代替の提案：従来の頭（目）視点に加え、手の可動性を活かした感覚代替を実現。
• 実装と評価の一貫性：同一ハード／アルゴリズムで手装置と頭装置を比較し、デバイス間の違いを明確化。
• 操作性と人間工学的優位：手装置使用時のかがみ込みや頸部前屈の抑制を行動観察および定量データで裏付け。
• 視覚障害者協働設計：生得的盲研究者の参画による試作とパイロット評価で、実用性とアクセシビリティを両立

Evaluation

• 第1相：手／頭装置それぞれ単独使用で、①物体同定、②ハンダごて把持、③瓶＆蓋組付け、④箱内探索の４タスクを実施。完遂率、誤操作数、所要時間、NASA-TLXに基づく認知・身体負荷、手・頭軌跡、不良姿勢（ISO11226）を計測。
• 第2相：握手タスクで装置を「手」「頭」「両者」に切替可能とし、使用タイムライン、誤操作、所要時間、負荷を取得。参加者の戦略的切替動機もインタビューで聴取

Result

• 性能と認知負荷の同等性：手・頭装置間で誤操作数と認知負荷に差はなく、手装置は平均物理負荷を有意に低減（手:2.1 vs 頭:3.0, p<0.001） ​
• 人間工学的メリット：手装置使用時の不良姿勢（かがみ込み17→6 回、頸部前屈18→6 回）が大幅減少。参加者評価でも「手装置の方が楽」との声多数。
• 戦略的使い分け：第2相では全員が両装置を活用。頭装置で「大域探索」、手装置で「細部探索」を行う傾向を行動観察と発言から確認

Limitation & Future Work

• 参加者・タスクの限定：計8名・段階的演習タスクのみで、日常場面の再現性は不十分。単手操作、短期トレーニングに留まる。
• 技術的制約：輪郭抽出の簡易CV、30電極×2デバイスの解像度制限、自己申告の負荷尺度に依存。
• 今後の展望：多視点・多関節カメラ（指先など）、深度映像や色情報を含む改良CV、操作中UIによる視点自動切替、空間認知への影響、プライバシー配慮型センシングへの拡張などを検討する必要あり