システムの危機管理

ボーッとメーデーを観ながら思ったこと。
システムとして、安全は選択できるべきか、強制すべきか。
何らかの危険が迫った場合、機械であるシステムは
その危険を回避する為のアドバイスをするに止めるか、
それとも危険を回避する判断と実行までやってしまうか。
例えば、非常に近い空域を2機の航空機が飛んでいたとする。
大抵の航空機にはTCASという衝突防止システムがついていて、
パイロットにその危険な接近を警告するようになっています。
TCASは「降下せよ」または「上昇せよ」という指示までするけど、
実際に降下するか、または上昇するかはパイロットの判断になる。
大抵このTCASの指示に従っていれば問題はクリアされます。
ただ、その様子を監視している地域の航空管制からも指示があり、
それがTCASの指示と異なっていた場合、どうすれば良いのか。
TCASが上昇指示を出しているのに、管制官に降下指示を出してきた
という場合ですね。
パイロットは非常に困るでしょう。
過去、実際これで大事故になったのがバシキール2937便の空中衝突事故です。
（ バシキール航空2937便空中衝突事故 [wikipedia.org] ）
この事故の場合、結果的に管制官が誤った指示を出したことが
最終的な事故原因ということになってますが、
管制官も人間である以上、誤ちを犯す可能性はゼロではない。
その最後のセーフティガードをするのもシステムの役割です。
つまり、危険なことをさせない、むしろできないようにすべき、
という思想。
ただ、システム（機械）も人が作るものである以上、
全く欠陥が無いともいい切れない。
結局のところ、ここのジレンマなんですよね。
航空機の場合、旅客機をつくってるメーカーの2強として
ボーイング社とエアバス社がよく比較されるのだけど、
この2社はそのへんの設計思想が分かれていて興味深い。
エアバスの場合、基本的に機械は誤らないという設計思想で、
オートパイロットでは、飛行管理システム（FMS）が判断実行し、
A310以前の機種だと、その解除をするのも容易でないらしい。
（A320以降は、パイロットがサイドスティックを一定時間操作すると
オートパイロットが解除されるらしいです。）
ボーイングの場合は、オートパイロットではFMSが操縦する、
というところまではエアバスと同じだけど、
実際にどう飛ぶかの最終判断は人間がするという思想で、
パイロットが操縦桿でマニュアル操縦することも簡単にできる。
つくりからして、エアバスがゲーム機のジョイスティックみたいな
サイドスティックで操作するようになってるのに対して、
ボーイングは昔ながらの操縦桿で操作になってるというあたり、
機械寄りか人間寄りかの思想がわかる。
エアバスの思想は、いざというときにパイロットが
臨機応変に素早い対応がとりにくいという問題はあるんだけど、
全部機械に任せていれば、バシキール機の事故みたいなことは
起こらなかったんじゃないだろうか、とも思える。
これは飛行機に限らず、いろんな危機管理システムにいえる話で、
どう設計するかは、どちらが正解とも言い切れないんですよね。
で、何かの拍子にその悪い方の形が出てしまうと、
そのシステム設計や欠陥がいろいろと指摘されるのだけど、
たまたま良い形の結果が続いてるだけのシステムというのも
きっとあるんだろうと思う。
というか、大抵の場合そうでしょうね。
騒がれるのは、いつも何かコトが起こった後だったりします。