logo logo 音楽家
English
日本語
音声・音楽を扱う
システムの
受注開発

風景や人の動きなどを音(楽)に変えたり、明るさの変化や物体の色などに応じてリアルタイムに音声や音楽を生成するなど、ご要望に応じて音声・音楽に特化したソフトウェアをお作りします。

仮想空間・VR、ゲーム、研究・実験、広告、演出、アートセラピーなどあらゆる場面で応用できます。何に何を反応させるか、どの程度反応しやすくするかなどすべてアイディア次第ですので、お気軽にご相談ください。

作例1

動きを聴く

最適な用途:身体表現

カメラが動き(踊りなど)を認識し、それを音に変えます。動きがないと音は鳴らず、動きがあればその速さによって音の大きさや高さが変わります。例えば踊りに使えば「音(楽)に舞踊を合わせる」のではなく、その逆の「舞踊に音(楽)を合わせる」ということが可能になり、しかも音の生成はすべて自動で行われるため音を出すための人を用意する必要はありません。

動画は、熊本県宇城市の光照寺にて執り行われた奉納舞のための仕様。あらかじめサンプリングした光照寺の梵鐘の音を音源としたうえで、踊り手の動きを捉えるカメラからの映像を9分割し、踊り手の左上と右上に速い動きを検知したときに梵鐘の音を6つの異なるランダムなピッチで同時に再生。残りの7枠では踊り手の動きの速さに応じて梵鐘の音を引き延ばした(グラニュラーシンセ使用)音声のボリュームが上下するというセッティングです。

作例2

風景や光を聴く

最適な用途:風景 花火 ホタル など

カメラが物体(建物、車など)を認識し、それを音に変えます。物体がないと音は鳴らず、物体がある限りその色と大きさに応じた音を自動で生み出し続けます。小さな物体ほど高く、大きな物体ほど低い音が鳴るように設定されています。例えば電車や車の車窓や川や運河を進む船からの景色などに。

動画では、映像の中で物体を2つ認識し、それぞれの物体の色が白に近いほど鋭い音、黒に近いほど丸い音、そして物体の大きさを音の高低に当てはめています。音源はインパルスをベースとしてグラニュラーとリバーブを適用し、すべてシステム内で合成しています。

作例3

仮想の自然界を聴く

仮想の自然界(生態系)をその場に出現させます。雨、風、波、滝、雷の音や仮想の生物の声を生み出していますが、現実世界と同じように、時間帯や季節によって聞こえてくる音は違い、人がいれば動物の鳴き方も変わります。録音は一切使わず、すべての音はソフトウェア内のシンセサイザーからリアルタイムに生成されています。

すべての音をシンセサイザーで生成するため、雨の量、風の強さ、生き物の鳴き声の大きさや高さといったあらゆる要素を、使用するカメラやセンサーの数値などと連動させ、出力される音をリアルタイムに変化させることができます。

作例4

物理ステップシーケンサー

壁やテーブルを楽器に変えます。まず手元にあるモノの「音」を録音して、そのモノをマスの上に置きます(壁の場合はマスの中に磁石を貼ったり、丸を描いたりします)。すると、流れてきた光の帯がそのモノを照らした瞬間に、先ほど録音した音が鳴ります。光の帯は繰り返し流れ、また、同じように録音を繰り返すことで最大10種類の音を同時に扱えるので、マスの上に様々なモノを置くことで簡単に音楽を奏でることができます。

物体の並び方を変えることで音はリアルタイムに変化します。数字キーを押している間だけそれに対応した音源(例えば3なら3種類目の音)が録音されるため、再生しながら録音しなおしてビートを変化させることも可能です。

作例5

防災放送アナウンス訓練用音響シミュレーター

trangis

市町村防災行政無線のアナウンサーの訓練を目的とした音響シミュレーターです。

市町村防災行政無線を使用して地域の住民に避難を呼びかける緊急時の町内(屋外)放送では通常、アナウンサーが避難者の環境から自身の声をモニタリングすることができません。しかし実際には避難者が屋内にいたり、スピーカーからの距離が遠い、建物や山からの反響音や雨音が妨げとなるなど、様々な要因で避難者に放送内容が正確に伝わらないリスクがあります。

このソフトウェアは、防災行政無線のスピーカーから出たアナウンサー自身の声が実際にどのように聞き手(避難者)に聞こえているかをシミュレートすることで発声方法の改善に繋げ、可能な限りこのリスクを軽減することを目的としています。

機能
  • 背景音声(雨音・工事など)の選択・再生
  • 単発音声(アナウンス前後のチャイムなど)の選択・再生
  • サイレン音のリアルタイム生成
  • アナウンス音声(録音済み)の選択・再生
  • アナウンス音声(リアルタイム)の録音・再生
  • アナウンスに使用するスピーカーの周波数特性の設定
  • 距離減衰計算の基準(スピーカーからの距離[m]と音圧レベル[dB SPL])の設定
  • スピーカーから避難者に伝わる直接音の遅延再現
  • スピーカーから建造物や山体などに反響して避難者に伝わる反響音の遅延再現(5経路分)
  • 避難者が屋内にいる場合(JIS A 4706 T-1等級のサッシの音響透過損失)の再現
このシステムは下記において発表されました。
  • 2016年3月9日 日本音響学会2016年春季研究発表会 スペシャルセッション災害等/騒音振動/建築音響/電気音響/聴覚/音バリアフリー [災害等非常時屋外拡声システムに関する最近の研究動向] 発話音声分析 1-9-16 防災放送のアナウンス訓練システムの実用化◯土田義郎(金沢工大)

本システムは金沢工業大学様のご依頼により、下記の文献において発表されたPureDataシステムをベースにさらなる利便性の向上をねらって開発したものです。

○土田義郎:防災放送の訓練システムに関する基礎的検討,日本建築学会大会 学術講演会梗概集,VOL.防火,435-436, 2013/08/30.

○土田義郎:超巨大災害発生時の避難勧告・指示の効果的情報伝達対策,シンポジウム「南海トラフ巨大災害の防災対策について」,金沢工業大学地域防災環境科学研究所,32-33,2014/09/27.

よくあるご質問

Q そもそも「システム」とは?

A 「システム」には「仕組み」や「装置」という広い意味がありますが、特にこのサイト上では「コンピュータで動くソフトウェア」を指しています。カメラ、スピーカー、センサーなどを使うときはそれらも含めてシステムと呼んでいます。
Q どのような場面で使えますか?

A 仮想空間・VR、ゲーム、研究・実験、広告、舞台演出、アートセラピーなどが考えられますが、あらゆる可能性を想定していますので、これらに当てはまらない場合でもお気軽にご相談ください。
Q どのような要素を扱えますか?

A 音声、音の大きさ、明るさ、速さ、物体の大きさ、時刻、色などを扱うことができます。それぞれを何に反応させるかは自由に決めることができます。
Q どこからでも依頼できますか?

A はい。基本的に世界のどの場所からでもご依頼いただけます。ご相談、打合せからお支払いまですべてオンラインでのやり取りになるほか、必要な機材・システムはこちらから発送し、最終的な設置だけはご自身で行っていただく形になります。請求金額は状況により消費税分や源泉徴収分が変動するため、その都度打ち合わせとなります。
Q 操作は簡単ですか?

A はい。システムは通常のソフトと何ら変わらない仕様ですので、パソコンの簡単な操作が可能であれば問題なく操作していただけます。
Q 何を使って作っていますか?

A Cycling '74 Maxです。

お見積り