前回までの授業で、マウスとカーソルによって物理空間と情報空間がリンクし、ヒトとコンピュータのあいだに「合生的行為」と「合生的認知」が生じることを確認しました。そして、合生的行為とは「ヒトの実行とコンピュータの実行とが、ディスプレイという平面を介して縫い合わされた行為」であり、この縫い目の存在をわたしたちはほとんど意識しないということも見てきました。今回は、この「縫い目」を担いながら、同時にその存在を不可視にしているデジタルオブジェクトである「カーソル」に焦点を当てます。
カーソルはパソコンを使うときには常に操作しているものですが、その存在はあまり意識されません。インターフェイス研究者の渡邊恵太は『融けるデザイン』で、カーソルについて次のように書いています。
動きの連動によって自己への帰属感が立ち上がってくる。つまり、私たちは普段カーソルを意識しないで対象を意識しているというカーソルの「透明性」の正体は、「動きの連動」がもたらした自己感、自己帰属の結果であったと言えるのではないだろうか。p. 108
渡邊恵太『融けるデザイン』
カーソルが「透明性」とともに「自己」という言葉で記述されています。「ヒトの手がマウスを動かし、コンピュータがカーソルの座標を計算し、ディスプレイに表示する」という一連の処理は、複数の実行が連鎖して成立しています。しかし、私たちはその連鎖を意識せず、「私がカーソルを動かしている」と感じます。カーソルとは何なのでしょうか。この問いに答えるために、まずカーソルが「透明」になるまでの歴史——関係が不可視化されていく歴史——を簡潔に振り返り、その後、カーソルが私たちの身体と情報空間の境界を溶解させる体験について考えていきます。
カーソルが「透明」になり、「自己」として感じられるようになるまでには、ヒトとコンピュータの「関係」が段階的に不可視化されていく歴史がありました。
ケイの「重なるウィンドウ」というのは、ディスプレイ二次元平面というそもそも厚みを持たないところに「重なり」を導入するという無理なアイデアでした。だから、合生的行為が行われるディスプレイに表示されているウィンドウとウィンドウとのあいだ、ウィンドウとデスクトップとのあいだには、当然物理的な重なりはありません。しかし、ケイのチームはこの「無理」を二つの条件によって可能にしました。一つは、前回確認したように、ディスプレイがn次元情報空間の「部分像」であること。もう一つは、ディスプレイが個々のピクセルを正確に操作できる集合で構成されていること。背後にn次元の情報があり、かつ、どのピクセルをどの情報のために使うかを完全に制御できるからこそ、「手前にあるウィンドウのピクセルだけを描画する」という処理が可能になったのです。
この「重なり」の実装は、物理空間における重なりとは根本的に異なる方法で実現されました。それが**Z-order（Zオーダー）**です。Z-orderとは、各ウィンドウに「重なり順の値」を持たせて、リスト構造で管理する仕組みです。ディスプレイの二次元平面には物理的な奥行きがありませんが、Z-orderという情報的な「第三の軸」を導入することで、ウィンドウ同士の前後関係がつくられました。物理空間で物を重ねると、上のものをどけなければ下のものに触れられません。しかし情報空間では、Z-orderの値を入れ替えるだけで、奥にあったウィンドウが瞬時に手前に来ます。物理的に「どける」必要がない——これが情報空間における「重なり」の特徴です。
https://vbabeginner.net/z-order/
ここで重要なのは、Z-orderが合生的行為によって動的に変化するという点です。ウィンドウをクリックすると、そのウィンドウのZ-orderが最前面に移動します。物理空間で書類を動かすと連続的に移動しますが、Z-orderの変化は離散的です。クリックした瞬間に、ウィンドウは「奥」から「手前」へと一気にやってきます。身体の動きは連続的ですが、その結果としてのデジタルオブジェクトの変化は離散的に生じます。これが情報空間における合生的行為の特徴です。また、Z-orderの実装には「ダメージリージョン」という概念も含まれていました。ウィンドウの重なりが変わると、コンピュータは再描画が必要な領域だけを計算して更新します。この処理は私たちの合生的認知には現れません。私たちはただ「ウィンドウが手前に来た」と認知するだけで、その背後の情報処理は不可視化されています。
重要なのは、Z-orderによる重なりの入れ替えという合生的行為が先に成立したということです。ウィンドウをクリックすると、Z-orderの値が変わり、奥にあったウィンドウが手前に来る——この行為が、まず可能になりました。しかし、その合生的行為を行うヒトにとって、二次元平面上に「重なり」があるという感覚は掴みにくいものでした。そこで導入されたのが〈影〉です。物理空間で物が重なると影が生じます。そこでピクセルを黒で表示することで、物理空間で生じている影をディスプレイに導入したのです。ウィンドウの下辺に位置するピクセルを黒で表示して、私たちにそれを〈影〉として認知させて、そこに「重なり」が生じていると解釈させたのです。
https://en。wikipedia。org/wiki/File:Apple_Macintosh_Desktop。png
このようなウィンドウの重なりを示すために表示された黒いピクセルの集合を〈影〉と書きたいと思います。物理的な影ではなく、黒いピクセルの集合でしかないけれど、それを見た私たちは「影」として認知してしまいます。コンピュータはピクセルを黒く示し、それを見たヒトはそれを「影」として認知し、そこに「重なり」を見出す。このように私たちの意識にのみ現れる「影」が〈影〉なのです。
この〈影〉は情報に依存したデジタルオブジェクトです。なぜなら、〈影〉という合生的認知を生じさせるデジタルオブジェクトはコンピュータというハードウェアがなければ存在できないだけでなく、ソフトウェアによって描写が変更されるだけでも消えてしまうからです。〈影〉はモノだけでなく情報にもその存在を依存している点で、物理的条件にその存在を依存している影よりも儚い存在だと言えます。
つまり、始まりは重なりの入れ替えという合生的行為であり、その行為を明確に導くために〈影〉というデジタルオブジェクトが生まれたのです。そして、ソフトウェアが描写する黒いピクセルという色情報の集合と、コンピュータがZ-orderという情報構造として管理する重なり順とが統合されることで、ヒトの視覚とコンピュータによる重なり順の検出・保持が縫い合わされた「合生的認知」が成立しました。合生的認知が成立することで、重なり順の入れ替えという合生的行為がより滑らかに、より「自然」に感じられるようになっていったのです。私たちは〈影〉を通して重なりを認知しながら、同時にZ-orderという情報構造そのものは意識しなくなっていきました。
〈影〉は、重なりという情報的な前後関係を、わたしたちがほとんど考えずに扱えるようにするための視覚的な手がかりでした。つまり〈影〉は、重なり順の操作を「自然な行為」として回すための装置でもあったのです。そしてこの「自然さ」が極まっていく方向が、次に見るモードレス化したインタラクションです。
私たちは本来、切り替えという行為をするとき、何らかの手続きを踏んでいるという感覚を持ちます。「重なるウィンドウ」が可能にした「モードレス」とは、切り替えのための手続きが忘却され、ただ「やりたいこと」だけが残る状態です。
