アップルとパドゥー大学がDarkDiff技術を開発:極暗な環境でもナイトビジョン級の写真が撮れる

最近、Appleの研究者たちはプルデンス大学と協力して、スマートフォンが極めて暗い環境で写真を撮るときにノイズが多くなり、細部がぼやけるという課題を解決するための新しい写真技術「DarkDiff」を発表しました。この技術は、生成型拡散モデルをカメラの画像信号処理（ISP）プロセスに直接導入することで、暗闇でも驚くほど細かい描写を可能にします。

従来の夜景モードは後処理アルゴリズムによるノイズ除去に依存することが多く、その結果、絵画のように不自然な印象や大きな筆触のような跡が残ることがあります。DarkDiffの革新点は、単なる「後処理」ではなく、AIを画像生成の初期段階から関与させることです。膨大な画像データを学習し、センサーが暗い場所で失ったテクスチャーやカラーパターンを「予測」して復元できます。AIが実際には存在しない物体を作り出さないよう、研究チームは局所的なパッチ注視メカニズムを導入し、生成されるすべての細部が撮影現場の実際の構造に合致することを保証しています。

実際にテストでは、研究者たちはソニーA7SIIを使って極端な暗さをシミュレーションし、わずか0.033秒の極めて短い露出時間においても、DarkDiffで再現された写真の品質は非常に高く、三脚で300倍の露出時間をかけて撮影した参照写真とほぼ同じレベルでした。

効果は驚くほどですが、この技術を実際にiPhoneに搭載するにはいくつかの課題があります。拡散モデルは計算能力が非常に高いため、運用には多くの電力を消費する可能性があります。今後はクラウドでの処理に頼らざるを得なくなるかもしれません。また、このモデルは弱光環境下での英語以外の文字の識別にはまだ限界があります。Appleはこの技術がいつ商用化されるかについてはまだ明言していませんが、これはAIによって強化される今後のモバイル写真の無限の可能性を示しています。