انقلابی در تصویربرداری سه‌بعدی با فناوری لیدار پیشرفته

به گزارش صنایع نو، پژوهشگران در حال دستیابی به پیشرفت‌های چشمگیری در بهبود توانایی‌های سیستم‌های لیدار تک‌فوتونی هستند و مرزهای تصویربرداری سه‌بعدی را در سناریوهای چالش‌برانگیز گسترش داده و جلو می‌برند. لیدار تک‌فوتونی که از دقت آشکارسازهای بهمنی تک فوتون(SPAD) و آمارش شمارش فوتونی بهره می‌برد، به‌عنوان یک فناوری قابل توجه و مهم برای حسگرهای سه‌بعدی با برد طولانی و وضوح بالا مطرح شده‌ است. با این حال، نویز ذاتی و تخریب سیگنال در اندازه‌گیری‌های SPAD، به‌ویژه در شرایط نوری ضعیف، چالش‌های قابل توجهی را برای تخمین عمق دقیق ایجاد کرده است.

پیشرفت‌های الگویتم‌های پردازش تکفوتونی برای تولید تصاویر رنگی، تخمین عمق و بازسازی سطوح از داده‌های خام لیدار تک‌فوتونی

پژوهشگران در حال دستیابی به پیشرفت‌های چشمگیری در بهبود توانایی‌های سیستم‌های لیدار تک‌فوتونی هستند و مرزهای تصویربرداری سه‌بعدی را در سناریوهای چالش‌برانگیز گسترش داده و جلو می‌برند. لیدار تک‌فوتونی که از دقت آشکارسازهای بهمنی تک فوتون(SPAD) و آمارش شمارش فوتونی بهره می‌برد، به‌عنوان یک فناوری قابل توجه و مهم برای حسگرهای سه‌بعدی با برد طولانی و وضوح بالا مطرح شده‌ است. با این حال، نویز ذاتی و تخریب سیگنال در اندازه‌گیری‌های SPAD، به‌ویژه در شرایط نوری ضعیف، چالش‌های قابل توجهی را برای تخمین عمق دقیق ایجاد کرده است.

پیشرفت‌های اخیر، که در مجله Optics Express منتشر شده و در کنفرانس‌هایی مانند ACM Transactions on Graphics و IEEE/CVF Conference on Computer Vision and Pattern Recognition به نمایش درآمده‌اند، بر معماری‌های نوآورانه یادگیری عمیق و تکنیک‌های ترکیب حسگر متمرکز هستند تا این محدودیت‌ها را برطرف کنند.

یادگیری عمیق برای تخمین دقیق عمق SPADnet

تیمی از دانشگاه استنفورد معماری ترکیب حسگر عمیقی به نام SPADnet معرفی کرده‌اند که داده‌های نویزی SPAD را با تصاویر دوبعدی معمولی ترکیب می‌کند تا تخمین عمق را به طور قابل توجهی بهبود بخشد. این روش، محدودیت‌های ذاتی اندازه‌گیری‌های SPAD را که ممکن است به شدت تحت تأثیر نور محیطی، بازتاب کم از هدف و کاهش سریع قدرت سیگنال در اثر فاصله طولانی قرار گیرد، برطرف می‌کند.

SPADnet از یک شبکه تخمین عمق تک‌سویه برای استخراج نقشه عمق اولیه از یک تصویر RGB استاندارد بهره می‌برد. این تخمین اولیه، هرچند ممکن است حاوی ابهام مقیاس باشد، اما اطلاعات ارزشمندی درباره ترتیب عمق اشیا در تصویر ضبط‌شده فراهم می‌کند که در تکمیل تصویر داده‌های نویزی SPAD کمک‌کننده است. سپس این اطلاعات با داده‌های نویزگیری‌شده SPAD از طریق یک سری لایه‌های کانولوشن سه‌بعدی در معماری SPADnet ترکیب شده و در نهایت نقشه عمق بسیار دقیق و جزئی تولید می‌شود.

نوآوری‌های کلیدی SPADnet

معماری چندمرحله‌ای SPADnet مطابق با شکل 1 و شامل مراحل زیر است:

کاهش نویز داده‌های خام SPAD : داده‌های SPAD به‌صورت یک حجم سه‌بعدی فضایی-زمانی از تعداد فوتون‌ها حاصل می‌شوند. این فرآیند کاهش نویز، آشکارسازی‌های اضافی ناشی از نور محیطی یا شمارش‌های تاریک را حذف کرده و نمایش تمیزتری از سیگنال فوتون‌ها ارائه می‌دهد.

ترکیب حجم سه‌بعدی با تخمین عمق تک‌سویه: اطلاعات عمق دوبعدی با اندازه‌گیری‌های سه‌بعدی SPAD هم‌تراز شده و از طریق یک پروجکشن دوبعدی-سه‌بعدی به هم متصل می‌شوند.

شاخه اصلاح نهایی: این مرحله نقشه عمق را با بهره‌گیری از همبستگی‌های فضایی و پالایش بیشتر نقشه عمق بهبود می‌دهد.

ارزیابی‌ها روی مجموعه داده‌های شبیه‌سازی‌شده و واقعی نشان می‌دهند که SPADnet نسبت به تکنیک‌های سنتی تخمین عمق، به‌ویژه در نسبت‌های سیگنال به پس‌زمینه پایین، عملکرد برتری دارد. SPADnet با دستیابی به خطای مجذور میانگین مربعات (RMSE) کمتر در تخمین عمق، صحنه‌های چالش‌برانگیز با جزئیات ظریف و ناپیوستگی‌های عمق را نیز با دقت بازسازی می‌کند.

Transientangelo: گسترش مرزهای بازسازی سه بعدی با مشاهدات محدود

با تکیه بر پیشرفت‌های SPADnet، محققان روش جدیدی به نام Transientangelo توسعه داده‌اند که از داده‌های خام لیدار تک‌فوتونی برای بازسازی سطح سه‌بعدی و همچنین تولید تصاویر رنگی (!) با کیفیت بالا از تنها چند زاویه دید استفاده می‌کند.

Transientangelo از داده‌های خام لیدار، مانند هیستوگرام‌های زمانی فوتون‌ها یا ترنزینت‌ها، بهره می‌برد. این داده‌ها زمان‌های دقیق رسیدن فوتون‌های جداگانه را ثبت می‌کنند و اطلاعات غنی‌تری درباره هندسه صحنه ارائه می‌دهند. مطابق با شکل 3 برخلاف سیستم‌های لیدار معمولی که داده‌ها را به ابرهای نقطه‌ای ساده تبدیل می‌کنند، Transientangelo اطلاعات کامل داده‌های خام را حفظ کرده و بازسازی دقیق‌تر و جزئی‌تری انجام می‌دهد.

شکل 2 ایده اصلی Transientangelo

تکنیک‌های تقویت‌کنندگی نوآورانه در Transientangelo

هزینه پراکندگی: این هزینه، شبکه را تشویق می‌کند تا تراکم پراکنده‌ای در طول هر پرتو تولید کند و مرزهای متراکم‌تری ایجاد کند.

هزینه حجم‌دیهی فضایی: این تکنیک، اطلاعات فضای آزاد شناخته‌شده از اسکن‌های لیدار را برای محدود کردن بیشتر هندسه به کار می‌گیرد.

تقویت‎‌کننده تغییرات وزن: این ضریب تنظیم‌کننده تغییرات وزن رندر در طول پرتو را به حداقل می‌رساند و بازنمایی دقیق‌تری از سطح ایجاد می‌کند.

هزینه بازتابندگی: این هزینه سازگاری بین مقادیر بازتابندگی پیش‌بینی‌شده و مشاهده‌شده را تضمین می‌کند و کیفیت بازسازی را بهبود می‌بخشد.

این روش توانسته است در بازسازی سطوح دقیق حتی در شرایطی با تعداد فوتون بسیار کم (10 فوتون در هر پیکسل) و تخمین رنگ اجسام برتری داشته باشد و عملکردی فراتر از روش‌های موجود نشان دهد.

شکل3 عملکرد مدل Transientangelo

آینده لیدار تک‌فوتونی

پیشرفت‌های SPADnet و Transientangelo گام‌های مهمی در توسعه فناوری لیدار تک‌فوتونی محسوب می‌شوند و زمینه را برای کاربردهای گسترده‌تر در زمینه‌های مختلف فراهم می‌کنند. این تکنیک‌ها نشان‌دهنده قدرت یادگیری عمیق و ترکیب حسگر در غلبه بر چالش‌های ذاتی اندازه‌گیری‌های تک‌فوتونی هستند و حسگرهای سه‌بعدی مقاوم و با دقت بالا را ممکن می‌سازند.

مسیرهای آینده تحقیق شامل افزایش بازده محاسباتی این تکنیک‌ها، بررسی استراتژی‌های جدید ترکیب حسگر و گسترش قابلیت‌های آن‌ها برای مدیریت سناریوهای چالش‌برانگیزتر مانند صحنه‌های پویا یا صحنه‌هایی با تداخل شدید نور محیطی است. این تلاش‌ها پتانسیل کامل لیدار تک‌فوتونی را آزاد کرده و آن را به ابزاری ضروری برای درک سه‌بعدی در حوزه‌هایی مانند رباتیک، ناوبری خودکار، سنجش از دور و تصویربرداری پزشکی تبدیل می‌کنند.