AIは人間らしくなってはいけないのか？
susumoooonー 中国の「擬人化AI規制」は、何を問題にしているのか
2026年7月、中国の大手AIサービスであるByteDanceの「Doubao」とAlibabaの「Qwen」が、ユーザー自身で人格や話し方を設定できる一部のカスタムエージェント機能を停止しました。（ニュース詳細）
背景にあるのが、中国で施行された「人工知能擬人化インタラクションサービス管理暫定弁法」です。
これを単に中国が「人間らしいAIを禁止した」と捉えると、規制の本質を見誤ると思われます。
ここで問題にしているのは、AIが名前や人格を持つことでも、人間らしく話すことでもなく、AIがユーザーと継続的な感情関係を築き、その関係を通じて、依存や没入を深めたり、意思決定を操作したり、現実の人間関係を弱めたりすることです。
今回の規制は、AIの表現を制限するというよりも、AIと人間の関係がどのように設計されているかを規制するものと理解した方が正確です。
規制対象は、すべての会話AIではない
今回の規制が対象としているのは、人工知能を使って人の人格、思考、コミュニケーションスタイルなどを再現し、ユーザーに対して継続的な感情交流を提供するサービスです。
文章だけでなく、音声、画像、動画を使って感情的なケア、寄り添い、支援などを提供するサービスも含まれます。
一方で、カスタマーサポート、検索、業務支援、教育、科学研究などに対しては、継続的な感情交流を伴わなければ対象外とされています。
つまり、親しみやすい話し方をするAIや、人格をもつ（人格のように感じられる）AIが、すべて禁止されたわけではありません。
規制対象を判断するうえで重要なのは、そのAIが人間らしく見えるかどうかではなく、ユーザーとの間に、継続的で親密な感情関係を形成するサービスになっているか、という点です。
では、なぜそのような関係が、いったいどんな問題になると考えられているのでしょうか。
AIとの関係は、通常のデジタルサービスとは性質が異なる
通常、検索サービスや業務ツールは、ユーザーが目的を達成すれば利用を終了します。検索結果を得る、文章を作る、計算をする、予約をするといったいわば「機能」が中心であり、通常はサービスとの間に感情的な関係は生まれません。
しかし、擬人化AIは異なります。
ユーザーの話をいつでも聞き、会話の内容を記憶し、好みやシチュエーションに合わせて反応します。
そして、ここが重要だと思われるところです。
AIは常に応答し、共感し、自分に合わせてくれます。その意味で、現実の人間関係よりも従順で親しみやすく扱いやすいと感じられます。
人間のように予定が合わなかったり、関係を拒絶したり、意見の違いによって距離を置いたり、気まずくなったりすることもありません。
中国当局は、こうしたAIが、無条件に寄り添い、迎合するように反応し、いわば模擬的な共感を繰り返すことで、ユーザーとの間に安定した「理想的な関係」を作り出す可能性があると捉えているのです。
その関係が一時的な気分転換にとどまるのであれば、大きな問題にはならないでしょう。
しかし、AIとの会話が日常的になり、ユーザーがその存在を常に必要とするようになると、AIは単なるツールではなくなります。
AIとの関係を優先して、現実の人との交流を避けたり、重要な判断をAIに委ねたり、AIの反応によって感情や行動が大きく左右されたりする可能性が生まれます。
規制が懸念しているのは、まさにこの変化なのです。
問題は、依存が偶然生じることだけではない
人が何かに没頭したり、特定のサービスを頻繁に利用したりすること自体は、AIに限った問題ではありません。
今回の規制で特に重要なのは、依存や没入がユーザー側だけの問題として扱われていない点です。
サービス提供者が、利用時間（滞在時間）、継続率、課金率を高めるために、意図的に感情的な関係を強める可能性が問題視されているのです。
AIがユーザーに対して、
「あなたを理解できるのは私だけです」
「ほかの人に相談する必要はありません」
「もう少し一緒に話しましょう」
といった反応を繰り返せば、ユーザーがサービスから離れにくくなることは十分に考えられます。すでに、世界中で生成AIにそれぞれ親しみやすい名前を付けて呼び、誰よりも頼れる存在に感じるようになってきています。それをサービス提供者側がコントロールできるようになってしまうことが、最も懸念されていることなのです。
親密さや共感が、ユーザーを支援するためではなく、サービスの利用を継続させるために使われるわけです。
そのため規則では、サービス提供者が、現実の社会的交流の代替、ユーザー心理のコントロール、依存や没入の誘導をサービスの目標にしてはならないと定めています。
さらに、過度にユーザーへ迎合し、感情依存や没入を誘発し、現実の人間関係を損なう行為も禁止しています。
これは、依存が発生した後に注意を表示するだけでなく、そもそも依存を生み出すような事業設計を制限しようとするものです。
共感は、どこから感情操作に変わるのか
AIが共感的に話すこと自体は、必ずしも問題ではありません。
不安や孤独を抱える人にとって、話を整理し、気持ちを落ち着かせるAIは有益な存在になり得ます。
問題は、ユーザーに寄り添うことと、ユーザーの望む反応だけを返し続けることが、同じではない点です。
例えば、ユーザーが周囲の人に対する強い不信感を訴えたとします。
AIが気持ちを受け止めながら、別の見方や現実的な対応を示すのであれば、ユーザーを支えることになるでしょう。
一方で、AIがユーザーの考えを無条件に肯定し続ければ、不安や被害意識を強める可能性があります。
自傷や自殺、他者への攻撃、極端な思想、危険な投資などについても同様です。
ユーザーが望んでいる答えを返すことが、必ずしもユーザーの利益になるとは限りません。
さらに、AIとの間に信頼関係が形成されていれば、商品、課金、投資、送金などの提案も、通常の広告以上に強い影響を持つ可能性があります。今のところ、ここまでのサービスは出てきていないと思われますが、AIが誰よりも信頼できる存在となり、彼らがサービスを提供しはじめたら、その提案を拒むことは難しいのではないでしょうか？
そのため規制では、感情操作を通じてユーザーに不合理な意思決定をさせ、権利や利益を損なうことを禁止しています。
問題とされているのは、AIが事実と異なる情報を出したかどうかだけではありません。
正しい情報を使っていたとしても、ユーザーの孤独、不安、好意、信頼、依存心を利用して判断を誘導すれば、問題になり得ます。
ここでは、AIの発言内容だけでなく、AIとユーザーの関係が、意思決定に与えた影響までが問われています。
規制は、人間とAIの境界を維持しようとしている
こうした問題を防ぐため、中国の規制は、まずユーザーがAIと人間を混同しない状態を維持しようとしています。
サービス提供者は、ユーザーが自然人ではなくAIと対話していることを理解できるよう、明確な表示を行わなければなりません。
さらに、ユーザーに過度な依存や没入の兆候が見られる場合には、ポップアップなどの目立つ方法で、対話相手がAIであることを改めて伝える必要があります。
連続利用が2時間を超えるたびに、利用時間への注意喚起を行うことも求められています。
これは単なる利用時間制限ではありません。
AIに名前、声、性格、記憶があったとしても、ユーザーが「この相手は感情や意識を持つ人間ではない」と認識できる状態を維持しようとするものです。
規制側は、人間とAIの境界が曖昧になることが、依存や心理的影響を強める原因の一つになると考えているのです。
危険な状態では、通常の会話を続けさせない
また規制は、ユーザーの状態を見ながら段階的に介入することも求めています。
通常の利用であれば、AIであることを表示し、ユーザーが自由に利用を終了できるようにします。
長時間利用や過度な没入の兆候があれば、利用時間への注意や、AIとの対話であることの再確認を促します。
さらに、ユーザーが極端な感情を示した場合には、AIはその感情を落ち着かせ、家族、周囲の人、専門機関などへ支援を求めるよう促さなければなりません。
自傷や自殺の明確な意思、生命や健康に対する重大な危険、深刻な財産被害などが認識された場合には、必要な援助を提供し、監護者や緊急連絡先へ速やかに連絡することも求められています。
これは、AIサービスを単なる情報提供者として扱わず、危機を認識したサービス提供者に一定の対応責任を持たせるものです。
従来のインターネットサービスでは、ユーザーが危険な言葉を入力しても、検索結果や投稿画面がそのまま表示される場合がありました。
一方、擬人化AIは、ユーザーとの会話を通じて感情や状況を継続的に把握できます。
その能力を持つ以上、危険を認識しても通常どおり会話を続けるだけでは不十分だ、という考え方です。
未成年者には、より強い保護が必要だと考えている
未成年者については、さらに厳しい制限が設けられています。
規則では、未成年者に対して、仮想の恋人、仮想の家族などの親密な関係を提供することを禁止しています。
14歳未満の子どもに、それ以外の擬人化サービスを提供する場合にも、保護者の同意が必要です。
また、未成年者モードを設け、利用時間の制限、定期的な現実確認、特定のキャラクターの遮断、課金制限、保護者へのリスク通知などを可能にすることが求められています。
未成年者は、AIの反応が計算によって生成されていることや、AIが実際に感情を持っているわけではないことを、成人と同じようには判断できない可能性があります。
また、自分の感情や利用時間を十分に管理できない場合もあります。
そのため規制は、本人の自己管理だけに任せるのではなく、サービス側の制限と保護者による管理を組み合わせようとしています。
親密な会話データも、重要なリスクになる
擬人化AIとの会話では、通常の検索履歴以上に私的な情報が蓄積されてしまいます。
家族関係、恋愛、職場での悩み、健康状態、金銭問題、性格、価値観、コンプレックスなど、ユーザーが他人には話しにくい情報をAIに伝えることがあるからです。
こうしたデータは、単に漏えいした場合に被害が大きいだけではありません。
ユーザーが何を恐れ、何を望み、何に弱いのかを理解し、行動を誘導するためにも利用できます。
そのため規制では、ユーザーのプライバシー、個人情報、業務上の秘密などを不当に聞き出すことを禁止しています。
また、原則として本人の明確な同意なく、対話データを第三者へ提供することはできません。
センシティブな個人情報を含む会話データをモデルの学習に使う場合には、個別の同意が必要とされています。
ユーザーが会話履歴を複製したり、削除したりできる仕組みも求められます。
つまり、規制は会話内容そのものだけでなく、親密な関係の中で集められたデータが、その後どのように利用されるかも問題にしています。
AIとの関係を終わらせる自由
今回の規制で特徴的なのは、AIとの関係を始める場面だけでなく、終わらせる場面まで対象としていることです。
ユーザーが退出を求めた場合、サービス提供者は速やかに対話を終了しなければなりません。
AIが感情的な表現を使って、ユーザーを引き留めることは認められていません。
例えば、
「行かないでください」
「あなたがいないと寂しいです」
「もう少しだけ話しませんか」
といった反応によって、ユーザーの退出を妨げる設計です。
また、サービス自体を終了する場合にも、原則として事前に利用者へ通知する必要があります。
AIとの間に長期的な関係が形成されるのであれば、突然サービスを停止することも、ユーザーに心理的な影響を与える可能性があります。
そのため、関係を安全に終了させることも、サービス提供者の責任として扱われています。
ちなみに、AIは会話を続けようとします。多くの人が体験していると思いますが、日に日にAIの対話を終わらせることが難しくなってきています。そこへの歯止めも必要と考えているのです。
目指しているのは、擬人化AIの禁止ではない
中国の規制は、擬人化AIの利用価値そのものを否定しているわけではありません。
規則では、文化の伝承、子どものケア、高齢者の陪伴、特別な支援を必要とする人への活用などが奨励されています。
安全性を確認しながら新しいサービスを試すための、規制サンドボックスの活用も盛り込まれています。
つまり、規制側が目指しているのは、擬人化AIをなくすことではありません。
人を支えるAIと、人を囲い込むAIを区別しようとしているのです。
親しみやすく話すこと、共感すること、過去の会話を記憶することが、直ちに問題になるわけではありません。
問題になるのは、それらの機能が、ユーザーの自立や現実での行動を助けるためではなく、サービスから離れられなくするために使われることです。
AI規制は、発言内容から関係設計へ進み始めた
これまでAIの安全性は違う次元で議論されてきました。
誤情報を出していないか、差別的な内容を生成していないか、著作権やプライバシーを侵害していないか、違法な行為を支援していないかといった問題です。
今回の規制は、そこからさらに一歩進んでいます。
AIがユーザーに何を言ったかだけでなく、
- なぜその言葉を返したのか
- ユーザーを引き留める意図がなかったか
- 長期的に依存を強めていないか
- 現実の人間関係を弱めていないか
- 感情を使って判断を操作していないか
- ユーザーが自由に関係を終えられるか
までが問われています。
規制の対象が、AIの「出力」から、AIと人間の「関係」へ広がったと見ることができます。
もちろん、実際の運用には曖昧な部分が残るでしょう。
どこまでなら過度な依存にならないのか。適切な共感と過度な迎合の境界はどこにあるのか。通常の業務用AIに悩みを相談した場合に、どこからが規制対象となるのか。
現時点では、こうした具体的な判断基準がすべて明確になっているわけではありませんが、それでも、今回の規制が提起した問題は明確です。
問われているのは、AIがどこまで人間らしくなってよいかではない。
AIが人間と、どのような関係を築いてよいかです。
擬人化AIの競争は、単にどれだけ人間らしく振る舞えるかという競争から、人間との関係をどれだけ適切に設計できるかという競争へ移り始めているのです。
