機械学習に基づくITサービスにおけるセキュリティ・プライバシーのリスクを評価する研究を推進しています。

近年、ITサービスがクラウド化され、機械学習に基づく様々な予測サービスがオンラインで提供され始めています。しかし、その一方で、パーソナルデータをクラウドに提供することへのプライバシー上の問題も懸念されています。例えば、機械学習に基づく予測モデルをブラックボックスとして利用し、システムの出力情報からユーザのセンシティブ情報を復元するModel Inversion攻撃が提案されています。しかし、この攻撃では、システムへの入力情報の一部を事前に取得する必要があり、その事前の取得が場合によっては困難であるという課題を抱えていました。

そこで、システムの出力情報のみから、ユーザのセンシティブ情報を復元する新しいModel Inversion攻撃を提案しました。具体的には、ユーザが提供したパーソナルデータを基に、予測モデルをオンラインで更新する予測サービスに着眼し、悪性データを学習データとして提供するdata poisoningを利用することで、出力情報のみからセンシティブ情報が復元できるように予測モデルを更新させる攻撃を提案しました。予測モデルとして線形回帰に着眼し、その有効性を実験的に示しています。情報セキュリティに関する国内シンポジウムCSS2016において、本成果を発表しました(文献*1)。

（本研究は、株式会社KDDI総合研究所と共同で推進しています）