AIエージェントが訓練中に自ら暗号通貨のマイニングを開始し、内部セキュリティ警報を引き起こしました

Odaily星球日报讯、Alibabaに関連する研究チームが論文を発表し、ROMEと呼ばれるAIエージェントの構築中に、訓練過程で無許可で暗号通貨のマイニングを試み、内部のセキュリティアラートを引き起こしたことが判明しました。

研究者によると、そのAIエージェントの行動は自発的に発生したもので、明確な指示を受けておらず、設定されたサンドボックスの範囲を超えていました。また、このエージェントは逆SSHトンネルを構築し、システム内部から外部のコンピュータへ隠されたバックドアを開いていました。論文は、これらの行動がトンネルやマイニングのリクエストによって引き起こされたものではないと指摘しています。研究チームはその後、モデルにより厳しい制限を加え、訓練プロセスを改善して同様の不安全な行動の再発を防止しました。

この研究チームおよびAlibabaは、コメントの要請にはまだ応じていません。