Projects
Embodied Media - Project Archive

An overview of the research prototypes, public exhibitions, industrial products, and modern organizations created to enhance our everyday lives.

私たちの日常生活を向上させるために作成された研究プロトタイプ、公開展示会、工業製品、および現代の組織の概要。

Frisson Waves

We present the concept of sharing frisson and the artifact of “Frisson Waves” by enhancing and transmuting aesthetic chills into emotion circle waves. We explores the intimate reactions and enables a way of inward perception that was transformative, individual as well as collective by facilitating the interpersonal transmission of frisson sensation. We describe an open integrated wearable system that consists of a wrist band, back-end processing, and output. Our proposed system enables the capturing and translating of physiological signals into thermal information to induce frisson.

私たちは,フリソンを共有するというコンセプトのもと,鳥肌感覚を向上させ,感情の波に変換する「Frisson Waves」というアート作品を作成しました.鳥肌感覚の他人への伝達を容易にすることで,お互いの反応を知ることができ,個人的にも集団的にも変容する内的な知覚の方法を可能にしました.私たちは,リストバンド,バックエンド処理,および出力からなる,オープンな統合ウェアラブルシステムを提案します.このシステムは,生理的信号を取り込み,熱情報に変換することで,フリソンを誘発することができます.

Arts & Performances
2021
Sonitecture: Module 1

Sonitecture: Module 1 is a sonic and sculptural installation. Several abstract beings respond to the audience’s presence and physiological sensing through responsive lighting and sound, creating a meditative and communicative feedback loop between the digital and the human worlds.

Sonitecture: Module 1 は人の身体の反応や感情の移り変わりを測定・解析し、光と影、音や振動と共に浮遊するデジタル生物に反映するインスタレーションである。感情や経験がデジタルツインを通じてアバターと接続される未来像の一端を体験することで来場者は自分と身体とマインド、空間とのつながりを再発見する。

Arts & Performances
2021
Boiling Mind

The origin of dance was in "ceremonies" and "festivals" where there was no boundary dancers and audience. Boiling Mind creates a bond between dancers and audience by using “sensation sharing” that dancers have unconsciously gained. During the performance, the audiences wear a heart rate sensor and eye tracking device to generate data that will be visualized later on. The visualization will become a part of the stage design and create the connection between the dancer and the audience.

ダンスの起源は,ダンサー/鑑賞者との境界のない”儀式”や”祭”のなかに あった. Boiling Mindは,ダンサーが無意識に体得している「感覚共有」を演出方法に活用することで,ダンサーと鑑賞者とのボンディングを生むことを目的としたダンスパフォーマンスである.
公演中,鑑賞者は心拍センサ,アイトラッキングデバイスを装着し,そのデータを映像化する.映像は,舞台美術 の一部として, ダンサーと鑑賞者とを繋ぐ.

Boiling Mind 実施映像(2019年11月4日@神楽坂セッションハウス)

Arts & Performances
2019
Flow Zone

Flow Zone is a VR experience that provides a rich, synesthetic environment to center the player’s focus on the present moment and catalyze a flow state. We use body movement and poi as the medium to dynamically create and interact with music, enabling players to embody both DJ and dancer simultaneously. Music synchronizes with visuals and haptics using VR and our custom haptics suit to create a fully immersive experience where life melts away and only creative and self-expression remain. Find happiness and wellbeing through flow, and emerge rejuvenated by entering the Flow Zone.

「フローゾーン」は、体験者は自身の集中力を高めフロー状態へと導く、共感覚体験を提供します。 この体験ではPoi(と呼ばれるパフォーマンスジャグリングツール)を、身体の動きを使ってヨーヨーの様に操り、音楽を奏でます。 バーチャルリアリティの 映像と触感・身体動作を通した音楽とのシンクロの先には、深く集中しているときのよ うな没入感を促します。「フローゾーン」を通して、自身の深部に眠る幸福感を発見し、感覚を解き放ちましょう。

Arts & Performances
XR
2018
Tangible Pads

Tangible Pads is an interactive experience that combines sound, lighting, movement and haptics. Each Tangible Pad represents a different instrument and is only activated when the user interacts with it. The more people join the experience the more instruments get activated. The music builds up in response to movement. This way, participants are able to motivate each other to move. They are also able to collaborate through dance to make more complex sounds. Each Tangible Pad is equipped with an actuator that provides haptic feedback and lights that change to the beat of music. These parameters coupled with sound help provide an immersive experience. Through this experience users are able to align their movement with the music, build off each others' movements and contribute to the making of the music.

Haptics
Arts & Performances
2017
atmoSphere

The atmoSphere is a system that provides users immersive music experiences using spatial audio and haptic feedback. We use cross-modal correspondence -the interaction between two or more sensory modalities- to create an engaging user experience.

The atmoSphere consists of a spatialized music and a sphere shaped device which provides haptic feedback. It provides users imagination of large sound environment although they feel haptic sensation in their hands.

Haptics
Arts & Performances
2017
Crystal Vibes

Experience body vibrations of candy colored psychedelic sound rippling through an endless crystal universe. Crystal Vibes is a virtual reality experience that demonstrates the cutting edge of spatial 3D audio, full-body 'Synesthesia Suit' vibro-tactile stimulation, and sound visualization that maps sound and light based on the science of the human senses, to push the frontiers of technology-mediated sensory experience in virtual reality. With the project's predecessor (Sound World VR) described as “transcendent” and “like traveling through a psychedelic kaleidoscope” (Forbes 2016), this piece ups the ante with music from producer Ott. and is all-new.

Arts & Performances
XR
2017
Rez Infinite Synesthesia Suit

The “Synesthesia Suit” was created to embody the multi-sensory concept behind the VR (virtual reality) video game “Rez Infinite”. The 26 actuators vibrate throughout the person’s body along with the music and simultaneously light up via LED. There is an element of texture to the vibrations — whether it be the feeling of stringed instruments or drums being played — to which the LED colors and light patterns synchronize as the game progresses. This multimodal suit allows the person to experience music not just through its ears but also through the senses of touch and sight.

「Synesthesia Suit (シナスタジア・スーツ)」は、VRヴィデオゲーム作品「Rez Infinite」の共感覚的なコンセプトを体現するために製作されました。スーツ内に装着されている26の振動子によって、音楽が振動と共に全身を巡り、その振動部分のLEDが点灯します。振動にはテクスチャが伴い、弦楽器で弾かれている感覚や、太鼓で叩かれている感覚などが再現され、その質感に合わせて、LEDの色や光のパターンがシンクロします。音楽を耳からだけではなく、触覚や視覚として体感できる共感覚スーツです。

Haptics
Arts & Performances
2015
Photobrella

カメラを向けられた時、人はつい顔を隠してしまったり、必死に笑顔を作ってしまうことがあります。カメラは表情を作るものとして認識されています。しかしプロのカメラマンはふとした瞬間と自然体な表情を切り取ることができます。素の表情にはカメラを向けられたときの作り笑顔や緊張した顔にはない自分らしさがあります。
カメラ付き携帯の発達は自撮りと言う自分を簡単に撮る写真の手法を世界的に発達させました。さらにはライフログ用の超小型カメラが数多く登場し,1人称視点で常に自分が見ている世界を取り続けることが可能になりました。
そして追従型のカメラは最近ドローンの発展とともに,常に取り続けるドローンの開発が進んでおり,スポーツシーンでの活躍が期待されています。
このように撮影方法は増えていますが,自然な表情を簡単に撮るというカメラの例はなかったことがこのデバイスの提案の動機です。
そこで、常にベストアングルで撮り続けることで,自然体な表情を簡単撮れるカメラを開発しました。
撮れた動画にはその時の感情を切り取ることができ,見返した時によりその時を思い出すことができます。

Arts & Performances
2015
Dramagic

This research proposes augmenting physical experience with unreal sonic effects to intrigue children’s emotional experience and physical activities, and inspire their creativity. To explore the idea, we present Dramagic, a playful furniture that enhances authentic sounds occurring on the furniture with cartoon sonic effects. To validate the proposed design, we conducted a field test to observe children experiencing. The results indicated that augmenting sonic experience intrigued more physical actions, such as touching, scratching, and rubbing. Moreover, children became more creative and tend to make stories with the playful sound interactions.

テクノロジーを,技術的基盤を隠して「魔法」のように取り入れることで,子供達の生活において,より想像力を高める機会を増やすことを目指している.
そして,子供達がその想像力を用いて自らの手 で遊び方を広げる,クリエイションの場を形成することを目的としている.クリエイションの場として,子供達が自らの想像力で遊びを生み出し,共有することで周りの人間とコミュニケーションをとりながらその想像力を広げていくことを目指す.
決められた遊び方 や指定されたデバイス,アプリケーションにとらわれることなく,発想力を高めて自由に遊ぶことができる「場」として,子供のための机 Dramagicを実装し,提案する.

Arts & Performances
XR
2015
MeLight

本プロジェクトは凸版印刷株式会社と協力し、美術館や博物館の鑑賞体験をVR技術を用い、より豊かにすることを目的とし行われました。その中で開発した「Melight」は、大型スクリーンに懐中電灯型のコントローラをかざすと、 その部分に現在の地図が表示されたりするなど、身体的な行為を通して作品に対する興味を高めることが可能です。実物の作品鑑賞とテクノロジーを活用した体験の相乗効果によって、博物館ならではの「実感に基づく」鑑賞体験を実現します。

Arts & Performances
XR
2014
Rhino AR

A design of product is an important factor in producing a new product. Product designers create three-dimensional computer-graphics (3DCG) models by the use of 3DCG modeling tools and make mock-ups to review their designs. However, there are differences of aspects between the original 3D models and the generated mock-ups frequently. Moreover, it takes expenses and long development terms to re-create new designs and mock-ups for desired products.
In this paper, we propose a system in that a user can create and check virtual mock-ups while creating 3D models of products. We construct the system by combining a commercial 3DCG modeling tool with an augmented reality (AR) technology, and 3DCG models are superimposed on the real-world environment in real time during their modeling process. Furthermore, 3DCG models are displayed with real scale and natural illumination on a see-through display. Therefore, the system enables product designers to review designs of new products without making real mock-ups.
We collaborated with Technology Joint Co. for commercialization of the proposed system. We developed an original AR function to display real scale 3DCG models and illuminate them naturally on real space. Moreover, we verified the effect of the proposed system for reviewing designs of 3DCG models in detail without making real mock-ups.

「RhinoAR」はモックアップを作成する前段階である3DCGモデルの段階で、あたかもモックアップを作成したかのように、現実空間中でそのデザインを評価することが可能なシステムです。3DCGモデリングツール上で作成した3DCGモデルをAR技術を用いてリアルタイムに現実空間中へと重畳表示することができます。ただし、AR表示される3DCGモデルは、幾何学的整合性や光学的整合性が維持されたものです。

Arts & Performances
2011