به گزارش پایگاه اینترنتی «تک اکسپلور»، سیستم کمکی جدید شامل یک پایانه پوشیدنی، یک پردازنده قدرتمند و یک تلفن هوشمند بوده و پایانه پوشیدنی آن از دو جزء اصلی مشتمل بر یک دوربین RGBD و یک هدفون، تشکیل شده است.
محققان در گزارش خود در این باره نوشتند، «ما یک سیستم پوشیدنی مبتنی بر یادگیری عمیق برای بهبود کیفیت زندگی افراد نابینا وکم بینا ارائه داده‌ایم. این سیستم برای جهت‌یابی ایمن و ادراک جامع چشم انداز در زمان حقیقی، طراحی شده است.»
این دستگاه با استفاده از دوربین RGBD از محیط اطراف کاربر داده جمع‌آوری می‌کند. این اطلاعات در ادامه به یک شبکه عصبی پیچشی convolutional neural network منتقل شده که آن را آنالیز کرده و کارآمدترین راهبردهای پرهیز از مانع و جهت‌یابی را پیش‌بینی می‌کند. در مرحله بعد این راهبردها در کنار دیگر اطلاعات به دست آمده در مورد محیط پیرامون، از طریق هدفون به کاربر مخابره می‌شود.
این سیستم پوشیدنی جدید می‌تواند درآینده کمک رسانی موثرتر و دقیق‌تری را به افراد نابینا یا کم بینا ارائه دهد. تیم چینی در زمان حاضر در حال برنامه‌ریزی برای آنند تا با گنجاندن یک سنسور سونار (ناوبری و فاصله‌یابی صوتی) و یک حسگر ضربه ای (Bump sensor) در این سیستم، امنیت کاربران را به هنگام جهت یابی در محیط‌های ناهموار و خطرناک بهبود بخشند.
جزئیات بیشتر درباره این پروژه در وبگاه arXiv منتشر شده است.