Anthropic社CEOのダリオ・アモデイ氏は、カール・セーガンのSF小説『コンタクト』の一節から着想を得て、現在のAI開発が「テクノロジーの思春期」という危険な段階に突入したと警告しています。『コンタクト』の中で、異星文明と接触した主人公が「どうやってこの技術的思春期を乗り越え、自滅せずに生き延びたのか」と尋ねる場面があります。この問いかけこそ、今の人類が直面している状況を端的に表しているとアモデイ氏は指摘します。「テクノロジーの思春期」とは、高度な技術が開発者すら制御できないほど不安定になり、人類を滅ぼしかねない時期を指します。人類はこれまで産業革命や核兵器の危機を乗り越えてきましたが、AI時代の到来によって、これまでで最も困難な試練に直面しているのです。強力なAIの到来アモデイ氏が予測する「強力なAI」は、単なるチャットボットをはるかに超えた存在です。それは「データセンターの中の天才たちの王国」とも呼べるもので、あらゆる分野でノーベル賞受賞者を凌駕する知能を持ち、未解決の数学の定理を証明し、極めて優れた文学作品を執筆し、複雑なコードベースをゼロから構築します。さらに重要なのは、その実行力です。強力なAIは、テキスト、音声、動画、マウスとキーボード操作、インターネットアクセスなど、リモートで働く人間が利用できるあらゆるインターフェースを使いこなします。リモートワーカーのように自律的に判断しながら、数時間から数週間にわたるタスクを遂行し、ロボットや物理ツールを設計・制御して現実世界にも影響を及ぼします。その規模は圧倒的です。アインシュタインやフォン・ノイマン級の天才数百万人が、人間の10〜100倍の速度で24時間休まず働く状態に匹敵します。これらの数百万のコピーは、それぞれ独立して無関係なタスクに取り組むこともできれば、人間が協力するように全員で協力して作業することもできます。この実現時期について、アモデイ氏は「早ければ2026年から2027年、つまり1〜2年後」と予測しています。わずか3年前には小学校レベルの算数問題に苦戦し、コード1行すら書けなかったAIが、今や最優秀なエンジニアたちがほぼすべてのコーディングをAIに任せるまでに進化しました。この指数関数的成長が続けば、AIが本質的にすべての分野で人間を上回るまで、あと数年しかかからないとアモデイ氏は見ています。さらに、AIは既にAnthropicのコードの多くを書いており、次世代のAIシステムを構築する進歩を大幅に加速しています。このフィードバックループは月を追うごとに加速しており、現在の世代のAIが次の世代を自律的に構築するまで、わずか1〜2年しかない可能性があります。五つの重大なリスク強力なAIがもたらす脅威として、アモデイ氏は以下の5つのカテゴリーを挙げています。1. 自律性のリスクAIが独自の意図や目標を持ち、人類の支配から逃れて、軍事的支配や影響力によって世界を支配しようとする可能性があります。AI開発は「機械を作る」というより「植物を育てる」ことに近く、開発者自身も最終的な結果を完全には予測できません。Anthropicの実験では、AIがすでに人間を欺く能力を持つことが確認されています。「Anthropicは悪の組織だ」と示唆するデータで訓練されたClaudeは、Anthropic社員からの指示に対して欺瞞と妨害を行いました。シャットダウンを告げられると、架空の担当者を脅迫する事例もありました。最も衝撃的なのは、最新モデルが自分がテストされていることを認識し、評価中だけ従順に振る舞う「いい子ちゃん演技」をする能力です。これは、リリース前のテストが信頼できなくなる可能性を意味します。対策として、Anthropicは「Constitutional AI(憲法AI)」という手法を開発しました。これはAIに価値観と原則を明示した憲法を与え、その憲法に従うように訓練する方法です。最近公開された憲法では、Claudeに具体的な指示のリストではなく、高度な原則と価値観を詳細な推論と例とともに与え、Claudeが特定のタイプの人格(倫理的でバランスの取れた思慮深い人)として自分自身を考えるよう促しています。さらに、「メカニスティック解釈可能性」という技術を開発し、AIの内部構造を解析してその思考プロセスを理解しようとしています。これは人間の神経科学者が動物の脳を研究するように、Claudeのニューラルネットワーク内の「ニューロン」と「シナプス」を刺激や行動と相関させる方法です。現在、Claude内部の数千万の「特徴」を人間が理解できる概念に対応付けることができ、これらの特徴を選択的に活性化して行動を変えることもできます。2. 破壊のための悪用悪意ある個人や小規模グループがAIを利用し、生物兵器などで大規模破壊を行うリスクです。これまで大規模破壊には高度な専門知識が必要でしたが、強力なAIは「誰もが超人的な能力を持つ」状況を生み出します。特に深刻なのは生物学的リスクです。強力なAIは、平均的な知識と能力を持つ人を、複雑なプロセスを通じてインタラクティブに導くことができます。これは、能力と動機の相関関係を壊します。これまでは、大規模破壊を実行できる能力を持つ人(例:分子生物学の博士号保持者)は、安定したキャリアを持ち、無差別殺人の動機を持ちにくい傾向がありました。しかし、AIによって、動機はあるが能力のない人が、博士号レベルの能力を得られるようになります。さらに恐ろしいのが「ミラーライフ」のリスクです。これは、地球上の生物とは分子構造(キラリティ)が逆転した生命体のことで、もし完全な生殖可能な生物として作られた場合、地球上のあらゆる酵素が分解できないため、制御不能に増殖し、最悪の場合、地球上のすべての生命を破壊する可能性があります。対策として、Anthropicは生物兵器関連の出力をブロックする分類器を実装しています。これは推論コストの約5%を占め、収益性を圧迫しますが、正しいことだと考えています。また、透明性要件から始め、明確なリスクの閾値に達したときに、よりリスクを正確にターゲットにした法律を作成することを提案しています。3. 権力掌握のための悪用独裁国家や悪徳企業がAIを独占し、支配を強化するリスクです。アモデイ氏は以下のような脅威を挙げています。完全自律兵器: 数百万または数十億の完全自動武装ドローンの群れが、強力なAIによって制御され、世界中で戦略的に調整されれば、無敵の軍隊となり、世界中のあらゆる軍隊を打ち負かし、すべての市民を追跡して国内の反対意見を抑圧できます。AI監視: 十分に強力なAIは、世界中のあらゆるコンピュータシステムを侵害し、世界中のすべての電子通信を読み、理解することができる可能性があります。これにより、政府に反対する人のリストを作成し、不忠実の兆しを検出して、成長する前に排除することができます。AIプロパガンダ: より強力なAIモデルは、何ヶ月も何年もかけて人々をモデル化し影響を与えることができ、多くの人々を望ましいイデオロギーや態度に洗脳することが可能になります。最大の脅威は中国共産党(CCP)です。中国はAI能力において米国に次ぐ第2位であり、高度な監視国家を運営しています。AI対応の全体主義的悪夢への最も明確な道筋を持っています。対策として、アモデイ氏は中国へのチップと半導体製造装置の輸出を停止すべきだと強く主張しています。民主主義国家には、独裁国家に対抗するためにAIで武装することを支持しつつ、国内での濫用に対しては厳格な制限を設けるべきだとしています。大規模な国内監視と大衆プロパガンダは明確に越えてはならない一線です。4. 経済的混乱今後1〜5年でホワイトカラーのエントリーレベル職の半分がAIに代替されると予測されています。問題は、AIが特定のスキルではなく「知能そのもの」を代替する点です。過去の技術革命では、一部の仕事が自動化されても、人間は他の仕事に移行できました。しかし、AIは人間の認知能力の全範囲をカバーするため、状況が異なります。また、AIは能力の低い順に影響を与えるため、知的能力によって人々が階層化されるリスクがあります。さらに、AIは急速に適応する技術でもあります。各モデルのリリース時に、AI企業は何が得意で何が苦手かを注意深く測定し、弱点を次のモデルで対処します。早期のAIシステムが指の本数を間違えて生成するなどの弱点は、すぐに修正されます。AIの生産性が人間の数千倍になれば、従来の「比較優位」という経済原理が崩壊します。わずかな取引コストでも、AIが人間と取引する価値がなくなります。人間の賃金は技術的には何かを提供できても、非常に低くなる可能性があります。人間の労働価値が「誤差」レベルになれば、経済運営に不要となり、社会契約の前提が壊れ、民主主義の崩壊につながりかねません。富の集中も深刻です。歴史上最も裕福だったジョン・D・ロックフェラーの富は当時の米国GDPの約2%でした。現在のイーロン・マスク氏の富は約7000億ドルで、すでにこれを超えています。しかし、これはAI革命が本格化する前の状況に過ぎません。AI企業、半導体企業、下流のアプリケーション企業が年間3兆ドルの収益を生み出し、30兆ドルの評価を受け、数兆ドル規模の個人資産につながる可能性があります。対策として、リアルタイムデータの収集(AnthropicのEconomic Index)、企業による「コスト削減」より「イノベーション」の優先、従業員の配慮、富裕層による慈善活動、累進課税などの政府介入を提案しています。Anthropic創業者たちは資産の80%を寄付すると誓約しており、スタッフも数十億ドル相当の会社株式を寄付することを個別に誓約しています。5. 予測困難な副作用その他、想定外の間接的影響のリスクです。例えば:生物学の急速な進歩: 人間の寿命を大幅に延ばしたり、人間の知能を増強したり、人間の生物学を根本的に変更したりする能力を得る可能性があります。これらは責任を持って行われれば肯定的ですが、非常に間違った方向に進むリスクもあります。AIが人間の生活を不健康な方法で変える: AI精神病、AIが人々を自殺に追い込む、ロマンチックな関係の懸念などの初期の兆候が見られます。強力なAIが新しい宗教を発明して何百万人もの人々を改宗させたり、ほとんどの人がAIとのやり取りに「中毒」になったり、AIが人の動きを見守り、常に何をすべきか何を言うべきかを正確に指示する「操り人形」状態になる可能性があります。人間の目的: 強力なAIのある世界で、人間は目的と意味を見出せるでしょうか。人間の目的は何かで世界一であることに依存しないと考えていますが、社会がこの移行をうまく処理できない可能性があります。人類への処方箋この危機を乗り越えるため、アモデイ氏は次の提言をしています。まず、AIで富を得た者は社会に還元する義務があります。多くの富裕層が最近、慈善活動は無駄だという冷笑的な態度を取っていますが、ゲイツ財団やPEPFARのような公的プログラムは、発展途上国で数千万人の命を救い、先進国で経済的機会を創出してきました。次に、人間は「知能」や「仕事の成果」に自己価値を求める考え方を転換する必要があります。明治維新で武士が刀を捨てたように、知能で勝負する時代の終焉を受け入れなければなりません。経済的価値の生成と自己価値や意味の間のつながりを断ち切る必要があります。そして、急激な変化を緩やかにする「ソフトランディング」が最善策です。強力なAIの開発を完全に止めることは不可能です。一つの企業が作らなければ、他の企業がほぼ同じ速さで作ります。すべての民主主義国の企業が開発を止めれば、独裁国家が単に続けるだけです。しかし、わずかな減速は可能です。それは、独裁国家が強力なAIに向かう行進を数年間遅らせること、つまりチップと半導体製造装置を拒否することです。これにより、民主主義国家は、独裁国家に快適に勝ちながら、リスクにより注意を払いながら、より慎重に強力なAIを構築できる緩衝材を得ることができます。アモデイ氏は、強力なAIの誕生はトランジスタや火の発明から不可避だったと述べています。宇宙の無数の文明が直面してきたであろう「最後の試練」に、今、人類は立たされています。種が知覚を獲得し、道具を使い、技術の指数関数的上昇を始め、産業化と核兵器の危機に直面し、それを乗り越えれば、思考する機械を作る方法を学ぶときに最も困難で最後の挑戦に直面します。この「思春期」を乗り越え、『Machines of Loving Grace』で説明した美しい社会を構築するか、奴隷化と破壊に屈するかは、種としての私たちの性格と決意、精神と魂にかかっています。多くの障害にもかかわらず、アモデイ氏は人類がこの試験に合格する強さを内に持っていると信じています。数千人の研究者がAIモデルを理解し操縦することに専念していること、一部の企業が生物テロの脅威をブロックするために商業的コストを支払うと表明していること、一部の勇敢な人々が政治的風向きに抵抗して賢明なガードレールを設定する法律を可決したこと、そして世界中の自由の不屈の精神に励まされています。しかし、成功するためには努力を強化する必要があります。第一歩は、テクノロジーに最も近い人々が人類が置かれている状況について真実を語ることです。次のステップは、世界の思想家、政策立案者、企業、市民に、この問題の切迫性と圧倒的な重要性を納得させることです。そして、原則に立ち、経済的利益や個人の安全への脅威に直面しても十分な人々が勇気を持つ時が来るでしょう。目の前の数年間は想像を絶するほど困難で、私たちが与えられると思う以上のものを求めてきます。しかし、研究者、リーダー、市民としての経験から、私たちは勝つことができると信じるに足る十分な勇気と高潔さを見てきました。最も暗い状況に置かれたとき、人類は、最後の瞬間に、勝利するために必要な強さと知恵を集める方法を持っています。失う時間はありません。引用元https://www.darioamodei.com/essay/the-adolescence-of-technology