Projects
Embodied Media - Project Archive

An overview of the research prototypes, public exhibitions, industrial products, and modern organizations created to enhance our everyday lives.

私たちの日常生活を向上させるために作成された研究プロトタイプ、公開展示会、工業製品、および現代の組織の概要。

Parallel Ping-Pong

1人のユーザが複数の身体を同時に操作する「パラレル・インタラクション」を探求するための物理的プラットフォームとして、卓球を題材とした「パラレル・ピンポン」を開発しました。ユーザは,2本のロボットアームをバーチャルリアリティコントローラで操作し,ヘッドマウントディスプレイを通して2台のロボットアームの視点映像を見ながら2つのテーブルで同時に卓球をできます。ゲーム状況やピンポン玉の方向や位置に応じて、複数視点映像を分割・合成した映像をヘッドマウントディスプレイに表示することで、2つの視点環境を同時に観測することを可能にします。さらに、映像やシステムのレイテンシーによって損なわれてしまうロボットアームに対する行為主体性を維持するために、ボールの軌道計算によるロボットアーム自動制御とユーザー自身の動作を統合することで、複数ロボットアームを1人のユーザーが主体性を持ち制御することを実現します。パラレル・ピンポンは一人のユーザが複数の身体を持ち、並行して身体体験を行うための様々なデザインを検証するためのプラットフォームとなることが期待されます。

Human Augmentation
Telexistence
2021
SlideFusion

For a number of people, wheelchairs are their main means of transport.
However, the traditional design of wheelchairs restricts the user to using their hands at all times while driving.
As a result, the user has two types of accessibility-related disability with regard to the upper and lower limbs.
Our proposal, SlideFusion, is an extension of our previous work on co-ordination and assistive technologies to address these limitations.

SlideFusion enables remote communication through an upper limb avatar embedded in an augmented wheelchair-type mobile 'SlideRift' and proposes a shared gaze modality with a remote operator to reduce the physical and cognitive burden on the user.

数多くの人々にとって、車いすは主な移動手段です。
しかし、車椅子の伝統的な設計により、ユーザーは運転中常に手を使うことを制限されます。
その結果、利用者は上肢、下肢に関して2種類のアクセシビリティに関する障碍を抱えていることになります。
私たちの提案するSlideFusionは、こうした制約への対応としてこれまで我々が進めてきた協調技術や支援技術に関するこれまでの研究を発展させたものです。

SlideFusionは、拡張車椅子型移動体"スライドリフト"に埋め込まれた上肢アバターを通じて遠隔コミュニケーションを実現し、利用者の身体的・認知的な負担を軽減するために、遠隔操作者との視線モダリティの共有を提案します。

Human Augmentation
Telexistence
2020
B.Live in Tokyo

Experiencing a professional basketball game while staying in a remote place, we built a system to transmit the haptic information of the match venue to a remote place. By sensing the sounds of the floor with 8 microphones installed under the floor of the match venue and outputting from the 2 stages at the live feeling venue, we provided an experience such as a realistic feeling as if we were in the basketball court.

遠隔地にいながらバスケットボールの試合を観戦することができるようにするため、試合会場の床面の触感情報を遠隔地に伝送及び再生するシステムを構築し、プロスポーツリーグが主催する試合で技術検証を行った。試合会場の床下に設置された8個のマイクで床面の音をセンシングし、パブリックビューイングの会場に設置された2つのステージから出力することで、まるで自分がコートの中にいるかのような臨場感を体験することができる。

Haptics
Telexistence
2018
Telesight

TeleSight enables cooperative experience with a Non-HMD user in the real world by reproducing the VR space and the avator of HMD user using robot and projection system. It aims at presenting embodied interaction between virtual and real.

HMD で VR を楽しんでいる人と,その周りでそれを 見ている人々には体験的な隔たりがある.TeleSightはVR 空間と,VR 空間内の身体像 (アバター)をロボットという形で現実空間に再現することで,現実世界の第三者とのインタラクションを可能にする.本来コンピュータ内にしか存在しないはずの空間と体が現実に滲み出ることで可能になる,新たな コミュニケーションの提示を目的とする.[ 国際学生対校バーチャルリアリティコンテスト(IVRC)2018 出展作品]

Telexistence
2018
Fusion

Fusion is a telecollaboration system that allows two participants to share the same point of view and physical space for remote operation and collaboration. The system is designed as a backpack, and is operated in three different modes: direct collaboration, enforced body guidance, and induced body motion, enabling effective communication.

社会性や専門的なコンテキストを含んでいる複数人でのスキルや動作の共有において効率的なコミュニケーションは重要な要素になります。しかしながら、遠隔でのコミュニケーションとなると、動作の共有は視覚的なものに制限されます。本研究では、遠隔から他者に入り込み、全身運動を操作可能なウェアラブルロボットシステムを開発しました。
 開発したシステムでは、遠隔からの操作者とロボット装着者の2人が同一の視点から空間を共有し、ロボットアームを介した身体的な作業を可能にしました。ロボットアームは、個別で動かすことで共同作業ができる以外に、アームの先端を装着者に取り付けることで、動作教示や運動のサポートができます。

Telexistence
2018
Telexistence Toolkit

Our world now is becoming a connected village of information and social experiences, but we still experience it as spectators and from the personal point of view. Telexistence Toolkit, or TxKit, is a compact, novel communication device that virtually transports you from one physical location to another, allowing you to experience the world from your point of view. Designed based on essential sensory feedback and in humanoid factor, TxKit provides the means for stereoscopic vision, binaural audio, speaking, and head motion. Using this design, both user and remote participants can have natural and mutual communication as if both were in the same location.

Telexistence
2017
Telexistence Inc.

Our mission at TX inc is to industrialize telexistence technology to dramatically change lives, organizations, and society.
“TELEXISTENCE” is a concept that was first proposed in 1980 by Dr. Susumu Tachi, Professor Emeritus of the University of Tokyo and the chairman of TX inc, which refers to the notion of human beings in effect being in a place other than where he or she actually existsand being able to act freely in that remote environment – essentially expanding the presence of human beings – as well as the technological systems that make this possible.

テレイグジスタンス(TELEXISTENCE/遠隔存在)とは、TX incの創業者の一人でTX会長でもある東京大学名誉教授 舘暲氏が1980年に世界で初めて提唱した、人間が、自分自身が現存する場所とは異なった場所に実質的に存在し、その場所で自在に行動するという人間の存在拡張の概念であり、また、それを可能とするための技術体系です。
TX incのミッションはこの技術の産業化を実現し、個人、企業、社会の生産性を飛躍的に向上させることです。

Telexistence
2017
Layered Presence

We propose “Layered Telepresence”, a novel method of experiencing simultaneous multi presence with user’s eye gaze and perceptual awareness blending of real-time audio-visual information received from multiple telepresence robots. The system arranges audio-visual information received through multiple robots into a priority driven layered stack; a weighted feature map was created for each layer based on the objects recognized in each layer using image processing techniques; and pushes the most weighted layer around the desired user gazes in to the foreground, and all other layers are pushed back to the background providing an artificial depth of field effect. The proposed method not only works with robots, but also each layer could represent any audio-visual content such as video see thru HMD, television screen or even your PC screen enabling true multitasking.

Telexistence
2016
Marathon Runner

マラソンランナーの視点をリアルタイムに共有できるシステムです。ランナーに装着した全天球カメラの映像と音声をリアルタイムに伝送し、ヘッドマウントディスプレイを用いてユーザー視点で閲覧できます。
一般的なLTE回線を用いた全天球映像と音声のリアルタイム配信には、NTTコミュニケーションズが提供中のWebRTCプラットフォーム「SkyWay」を利用しています。

Telexistence
2016
Telexistence Drone

This drone is a type of Telexistence system whereby the user can experience the feeling of flight. Telexitence is a technology that enables users to synchronize their motions and emotions with robots, such that they can be at a place other than where he or she actually exists, while being able to interact with a faraway remote environment. In this case of the drone, a camera is attached to it and then whatever is captured by the camera is synchronized with the Head Mounted Display (HMD) of the user, such that the user is able to experience the flight of the drone. By integrating the flight unit with the user and thus crossing physical limitations such as height and physique, everyone can now enjoy a whole new concept of ‘space.’

ドローンで撮影した映像と視覚を連動させ、『ハリー・ポッター』シリーズで描かれた「クィディッチ」のような競技の実現を目指します。
操縦者があたかも空を飛んでいるかのような体験を提供する、一種のテレイグジスタンス(Telexistence)システム。テレイグジスタンスとは、操縦者とロボットの動きや感覚をシンクロさせることで、操縦者自身を遠くにワープさせようという概念を表現しています。まず、飛行ユニットに装着されたカメラの映像を、リアルタイムに操縦者のヘッドマウンテッドディスプレイ(HMD)で見せることによって、視覚のシンクロを実現。自分と飛行ユニットが一体化することによって、身長や体格といった身体的な差を飛び越え、誰もが「空」という新たなフィールドでスポーツを楽しむことができるようになります。

Telexistence
2015
Disaster Tele-surveillance

In this project, a 6 DOF Spatial Cognition Telexistence Robot System (TORSO) was used for remote surveillance during disaster situations. The Telexistence Robot was mounted on a driver’s seat of a Unmanned Backhoe (BH) and a remote operator wears a Head Mounted Display (HMD) and a remote controller to control the Backhoe from a distance. Operator can drive the remote machinery with confidence due to the spatial coherent consistency while feeling of sitting on the Backhoe seat and manipulating the machine as he was there. In future, the effectiveness of spatial coherent drive experience can be applied in working at construction sites and real hazardous fields.

Telexistence
2015
HUG Project

“HUG Project” demonsted the worlds first virtual wedding participation helping a 90-year-old grandmother to attend her grandson's wedding ceremony from a hospital miles away using telexistence technology. This project was collaborated with with Ducklings Inc. (http://ducklings.jp)
HUG allows the remote participant to remote control a social humanoid robot “Pepper” using FOVE eye tracking technology. The project demonstrated on Oct 10th between Ritz Carlton Hotel in Tokyo and a rural hospital in Aichi Prefecture.

Telexistence
Social
2015
Enforced Telexistence

In this research we introduce photorealistic virtual arms to the user where no physical arms presented in the remote robot. Having virtual arms and hands synchronised with the voluntary movements provide the user the feeling as being presented with his own body in the remote robot place with visual, auditory, and haptic sensation. These Real-time photorealistic virtual arms not only follows the user’s arm movements, but also reacts to the dynamic lighting conditions of real environment and allow the user to have an experience of embodied enforcement towards the remote environment. Furthermore, these virtual arms can be used to grab a functional virtual copy of a physical instance where device control is possible. Enforced Telexistence not only allows a user to experience a non-existing arm in telexistence, but also gives the ability to enforce remote environment in various ways.

Telexistence
2014
TeluBEE

"TELUBee" is a Telexistence platform where the user can connect with a remote telexistence robot among ubiquitously distributed multiple robots around the world and feel as if he was teleported into a different location. It can be used for sightseeing, attending a remote meeting and have face-to-face conversations etc. . . as if you were there without travelling and spending much time.

「TELUBee」は世界中に散らばったロボットを使って、別の場所に瞬間移動したかのような体験を実現するためのテレイグジスタンスプラットフォー ムです。ユーザは「TELUBee」を利用することで、実際にはその場に行かなくても、自分がその場にいるかのような感覚で、観光や遠隔会議、フェイ ス・トゥー・フェイスの遠隔コミュニケーションといった体験をすることができます。

Telexistence
2013
Telesar V

"TELESAR V" is a telexistence alter-ego robot system that enables a user to bind with a dexterous robot and have a real-time sensation of being somewhere else, and feel the robot’s body through visual, auditory and haptic sensation. The system can transmit delicate tactile information so that the differences in surface textures such as feeling the texture of a cloth can be experienced.

「TELESAR V」は、自分の分身となるアバターロボットとまるで一体となったかのような感覚で、視覚・聴覚・触覚が融合した遠隔体験を得ることができる「テレイグジスタンス」ロボットです。触原色原理に基づく触感伝送技術を搭載することで、布などの細やかな触感をも伝えることができます。

Telexistence
2012