進路相談の机に、十七歳の生徒の「途中離脱の可能性、七二パーセント」という紙が置かれた。数字を出したAIは、過去三年間の欠席日数と通学時間を材料にしていた。しかし本人が今朝話したのは、母親の夜勤が終わるまで弟を保育所に送っていた、という別の時間割だった。担任は予測を外すことより、その紙を一度見てしまった自分の目をどう戻すかに困った。紙を破っても、七二という数字は頭に残る。
未来予測の危険は、外れることだけではない。予測がまだ仮説のうちに、進学先の面談枠、医療の紹介先、保険の見積もり、避難支援の順番へ流れ込むことだ。あとから本人が事情を説明しても、「判断当時は正しいデータだった」と言われれば、消えた選択肢は戻らない。だから予測を保存するなら、数字と一緒に、その数字が使える期限と場所、見た人、止める手段まで保存する必要がある。
ここでいう撤回は、過去をなかったことにする魔法ではない。すでに下された決定の記録は残す。ただし、予測を新しい決定へ転用する権限を止め、利用先へ訂正を届ける。進路相談なら、担任の画面から数字を隠すだけでは足りない。推薦書の下書きに「継続困難」と写されていないか、別の学校へ送られた面談メモに数字が残っていないかを確認し、残った場所に本人の更新情報を届かせる。撤回はボタンの色ではなく、届いた先の数で測られる。
予測記録を一枚のカードにするなら、表には結果だけを大きく印刷しない。まず「何のための予測か」、次に「いつまで使えるか」、その下に「参照してはいけない判断」を書く。たとえば欠席から通学上の支援を提案するモデルの結果を、意欲の評価や採否へ流用してはならない。同じデータから出た数字でも、目的を越えた瞬間に意味が変わる。カードの裏には、本人が拒否しても利用できる人間の相談窓口と、記録の利用先を確認する道を置く。
担任は生徒へ「予測が間違いだった」と謝る前に、紙の右上にあった作成日を見た。三か月前だった。弟の保育所は先月、自宅の近くへ移っている。AIは嘘をついていない。だが、古い生活を現在形で語っていた。生徒は説明を求められると、家族の勤務表まで見せなければ信用されないのかと問い返した。ここで「もっと詳しく話せば予測を変えられる」と言うだけでは、プライバシーを代金にして進路を買わせることになる。担任は理由を記録せず予測の利用を停止し、必要な通学支援だけ本人と相談し直した。
この場面には、異なる二つの記録が必要だ。一つは監査のための「この予測はいつ、誰に、何の目的で示されたか」。もう一つは本人のための「どこへ訂正が届き、どの判断がまだ開いているか」。前者を本人の詳細な事情で埋め尽くしてはならない。後者を事業者の内部ログだけに閉じ込めてもいけない。両方が同じ識別子で結ばれていても、見える範囲と保存期間は別にする。見せる人が増えるほど説明が丁寧になる、という単純な話ではない。
医療ではさらに難しい。診断補助AIが「再発リスクが高い」と出した後、医師がその数字を見ながら別の治療を勧めたとする。患者が予測の利用停止を求めても、診療録から当時の判断根拠を消すわけにはいかない。そこで記録を上書きせず、予測が使われた診察と、以後使ってはならない診察を分ける。後任の医師には、古い数字そのものを最初に表示するのでなく、「前提が失効した予測あり。必要なら当時の文脈を確認」と示す。情報を隠すことと、古い数字に判断を支配させないことは違う。
防災の名簿でも「避難困難者」は人の恒久的な属性ではない。昼は自力で歩ける人も、夜に透析から戻った直後には助けが要るかもしれない。車が必要な日と、声かけだけで足りる日もある。予測を更新する設計なら、本人が毎回長い申請書を書くのでなく、時間帯、移動手段、支援を頼める相手の変化を短く指定できる。変更が間に合わないときは、前の名簿を正解として押し通すのでなく、現場の確認を優先する。精度の高い古い予測より、いまの短い返事の方が重要な場面がある。
一方、撤回できる仕組みを善意だけに任せると、手続きが混乱する。予測を見た人全員へ連絡するのか。相手がすでに印刷した紙はどうするのか。第三者へ転送された情報は追えるのか。設計上は、利用先ごとに受領確認と訂正確認を分け、未確認の先を「完了」に数えない。訂正通知の期限を設け、届かなかった先を監査人が再確認できるようにする。本人の画面には「撤回しました」だけでなく、「進路担当には到達、奨学金審査には未到達」と表示する。安心させるための嘘より、途中の状態を見せる方が信頼につながる。
採用や融資では、別の非対称がある。企業は予測に従った判断なら説明しやすいが、現場が予測を退けて採用した場合は「例外」と記録されがちだ。後日うまくいっても、例外を認めた担当者の功績になるだけで、予測の限界を学び直す材料にならない。反対に失敗すれば、AIに逆らったこと自体が責められる。予測に従わない選択を制度として残すなら、担当者の勇気だけに頼らず、理由の種類と確認日を短く記録し、後から別の担当者も見直せるようにする。人間の直感を無条件に正しいとするのでもない。
拒否の代償にも目を向けたい。「この予測を使うことに同意しないなら支援対象外」という画面では、撤回は権利に見えて入場料の選択にすぎない。進路相談を受けるために未来の数字を渡す必要はない。医療を受けるために、研究用の二次利用まで許可する必要もない。基本サービスと予測利用を分け、拒否しても担当者による説明、異議、必要な支援を受けられる。予測を使わなかった人の成績や治療結果を「欠損データ」として片付けず、制度からこぼれなかったかを別に測るべきだ。
この仕組みの評価軸を正解率だけにすると、最も大事な失敗を見逃す。古い予測が何日間使われ続けたか。撤回通知が何か所で止まったか。本人が理由を詳しく話さずに止められたか。拒否した人に支援の遅れが出なかったか。後から予測を見た担当者が、前提の失効に気づけたか。こうした数字を公開できれば、モデルを賢くする競争と同じくらい、モデルから人が離れられる設計を競える。予測の精度が上がるほど、出口の品質を測る必要も増す。
進路相談に戻ろう。担任は七二パーセントの紙を破らず、封筒へ入れた。封筒には「作成時の前提は失効。推薦判断へ転用不可」と書き、受領先の一覧を生徒と一緒に確かめた。生徒は母親の夜勤について詳しい説明文を書くことを選ばなかった。その代わり、面談で必要な時間だけを伝えた。担任は数字のない推薦書を新しく起こす。数字を消すことではなく、数字に奪われた選択肢を戻すところまでが、この制度の仕事だ。
翌週、奨学金担当から「離脱可能性の欄が空白なので審査を止めた」という連絡が来た。担任はここで別の数字を埋めなかった。審査規則を確認すると、その欄は必須ではなく、古い様式を複写した職員が入力欄だけ残していた。必要なのはAIの値ではなく、現在の通学計画と学費の見通しだった。生徒は弟の送迎時刻を公開せず、朝の授業へ到着できる時刻だけを提出した。担当者は審査を再開し、空欄の理由を「本人が説明を拒否」とは書かなかった。制度が求めていない情報を、書かなかった人の落ち度にしてはならない。
撤回記録には、本人が後日読み返せる短い履歴も必要だ。「十月二日、進路担当の画面から停止」「十月三日、奨学金担当が訂正を受領」「十月四日、推薦書の旧版を封緘」。時刻と相手を並べるだけなら、家族の事情を何度も語らずに済む。もし通知が届かなければ、本人は同じ窓口で再送を求められる。新たな審査を一から始めさせるのではなく、取りこぼされた訂正を追いかける。予測の利用範囲を広げるときには通知が早いのだから、狭めるときだけ本人に走らせる道理はない。
もちろん人間の判断にも偏りはある。数値を隠しただけで担任が生徒を公平に見るとは限らない。だから撤回後の決定には、以前の予測を根拠にした言葉が残っていないかを点検する。たとえば「家庭の事情から継続は難しい」という一文は、本人の話と古い数字を混ぜた推測かもしれない。生徒が具体的な訂正を求められるよう、推薦書の事実欄と評価欄を分け、どこから来た情報かを示す。AIを外した後も、AIが残した形容詞を見落とさないためだ。
制度を広げるなら、代理人の扱いも決めておく。手続きの難しい高齢者や子どもに代わり、家族が撤回を申し出る場面はある。しかし代理人が本人の知らないところで都合の悪い予測だけを隠すこともできる。代理の範囲、本人への通知、本人が後から覆せる期限を分ける。緊急時にはまず利用を一時停止し、落ち着いてから本人の意向を確認する。急ぐ人を締め出さず、本人の声も消さない二段階が要る。
予測を作る側にも変化が生まれる。モデルの提供者は、出力を受け取った組織がそれをどこへ転記したか知らないままでは、撤回を支えられない。受領先を追跡する共通の識別子と、内容を必要以上に共有しない通知の形式を用意する。別の会社のAIが後で同じ人を評価しても、停止された古い値を新しい入力として再利用しないようにする。便利な相互接続ほど、止める信号を運ぶ道も同じ強さで設計しなければならない。
最後に生徒は担任へ、次の面談で数字の話をしないでほしいと頼んだ。担任は「わかった」と言い、代わりに通いたい授業の時間割を開いた。予測への反論を延々と続ける時間を、本人が選んだ未来の準備へ戻す。その小さな変化こそ、撤回の成否を測る一つの物差しになる。
未来を保存するなら、答えだけでなく出口も保存しなければならない。AIに必要なのは、何年後を当てたかという記録だけではない。どんな前提で語り、誰が使い、いつ止まり、その後に本人が別の道を選べたかという経路だ。予測を拒否した人の生活が狭くなるなら、撤回可能という表示は飾りである。逆に、その人が理由を語り尽くさなくても歩き直せるなら、AIの記憶は初めて未来の余白を守れる。
コメント