スマホで現実をコピー&ペーストするソフトウェア

先日、Twitter で話題になった AR ソフトウェアのお話です。
現実空間のオブジェクトを PC の Photoshop へコピー&ペーストできるとのこと。

4/10 - Cut & paste your surroundings to Photoshop

Code: https://t.co/cVddH3u3ik

Book: @HOLOmagazine
Garment: SS17 by @thekarentopacio
Type: Sainte Colombe by @MinetYoann @ProductionType
Technical Insights: ↓#ML #AR #AI #AIUX #Adobe #Photoshop pic.twitter.com/LkTBe0t0rF

— Cyril Diagne (@cyrildiagne) 2020年5月3日

こちらのソフトウェア「AR Cut & Paste」は開発者の Cyril Diagne さんが開発しており、スマホを通して検出した現実空間のオブジェクトを Photoshop に張り付けることができます。

And again, the OpenCV SIFT trick to find where the phone is pointing at the screen.

I also packaged it as a small python library: https://t.co/en0EyGSklp

Send a camera image + a screenshot and you get accurate x, y screen coordinates! pic.twitter.com/OOCFrrZseZ

— Cyril Diagne (@cyrildiagne) 2020年5月3日

現実空間の物体の検出と背景の除去には、BASNet（Qin et al, CVPR 2019）というモデルを使っているそうです。


コードや使い方については GitHub で公開されており、ダウンロードして利用することが可能です。
参考：GitHub

このソフトウェアを利用することで今まで行っていた、写真撮影・画像送信・トリミング・ペーストといった作業の負担が軽減できそうです。
また、現実空間のオブジェクトの画像を PC へ手軽に取り込めることが特徴だと感じました。

今回お話ししたソフトウェアは、現実空間のオブジェクトを画像としてPCへ取り込み、張り付けをすることができるソフトウェアでしたが、
3Dデータとして気軽にPCへ取り込めるソフトウェアが出てくると面白そうですね。

※当ブログのコンテンツ・情報につきまして、可能な限り正確な情報を掲載するよう努めておりますが、
　誤情報が入り込んだり、情報が古くなっていることもございます。
　当ブログに掲載された内容によって生じた損害等の一切の責任を負いかねますのでご了承ください。