پردازش تصویر روی مارس بورد

[farzadsw]

همونطور که میدونید پردازش تصویر نیاز به این ۳ بخش داره: دوربین-بورد پردازنده- نرم افزار.
از نظر بورد پردازنده مارس بورد توان پردازشی نسبتا مناسبی داره (در حد beagleboard).
دوربین هم معمولا وبکم استفاده میشه.
اما مهمترین بخش نرم افزار هست. سیستم عامل بخشی از نرم افزاره که روی بقیه قسمتها هم تاثیر میزاره. سیستم عامل اندروید از یک طرف سیستم عامل دیفالت هست ومیشه برای پردازش تصویر ازش استفاده کرد(opencv جواب میده) ولی محدودیت زیاد داره. درایور خیلی وسایل جانبی رو نداره و تصویر رو نمیتونه به صورت realtime (در فریم ریت بالا) پردازش کنه.
بهترین سیستم عامل linux هست. خوشبختانه برای مارس بورد (کوبی) توزیع های مختلف لینوکس وجود داره. opencv هم که تو دو روش مستقیم و crosscompile قابل استفاده هست.
فقط یکی دوتا نکته کوچیک هست که برای راه اندازه دوربین باید بهش توجه کنید:

من هم Lubuntu و هم Linaro رو امتحان کردم. جفتشون درایور وبکم های uvc (مناسبترین نوع وبکم برای لینوکس!) رو ندارند. خوشبختانه سورس کرنل در دسترس هست و میشه ماژولهای مورد نیاز رو براش کامپایل کرد. البته نیازی به کامپایل نیست؛ قبلا این کار انجام شده ؛ کافیه دانلودش کنید (uvcvideo.ko) .
حالا کافیه این ماژول (uvcvideo.ko) رو با دستور زیر به کرنل اضافه کنید:
insmod uvcvideo.ko
حالا می تونید از وبکمهای uvc استفاده کنید. من وبکم microsoft vx800 رو تو محیط لینارو استفاده کردم.

[farzadsw]

ماژولی که من برای نسخه لینارو استفاده کردم رو ضمیمه کردم. ولی احتمالا برای لوبونتو هم قابل استفاده هست.

[morteza_rk]

سلام

ممنون فرزاد جان. پست واقعا مفیدید بود. تشکر تنها بی فایده بود.

[Doloop]

دستت درد نکنه مهندس

شما که دست به خریدت خوبه قیمت این وب کم چنده ؟؟؟

اگه مدل های بهتر از این هم هست معرفی کنید .. لطفا .

[farzadsw]

این رو حدود ۶۵ تومن خریدم. از نظر کیفیت وبکم خوبی هست، وبکم با کیفیت بالاتر (full HD) هم وجود داره ولی قیمتشون نجومیه! یک وبکم a4tech هم قبلا از یکی قرض گرفته بودم که اون هم کار می کرد. مدلش یادم نیست، فقط یادمه کروی بود!
بقیه وبکم های uvc هم باید کار بکنه. اگه روی جعبه وبکم نوشته باشه linux رو ساپورت میکنه، به احتمال ۹۹درصد uvc هست.

[farzadsw]

الان دارم opencv رو روی خود بورد کامپایل میکنم. ۱ گیگ سورس کده! فعلا ۴ ساعت گذشته و ۹۰ درصد رفته
اگه مشکلی پیش نیاد تا چند ساعت آینده برنامه پردازش تصویر رو میتونم تست کنم.

[beroz]

الان دارم opencv رو روی خود بورد کامپایل میکنم. ۱ گیگ سورس کده! فعلا ۴ ساعت گذشته و ۹۰ درصد رفته
اگه مشکلی پیش نیاد تا چند ساعت آینده برنامه پردازش تصویر رو میتونم تست کنم.

من داشتم با هزار بدبختی سعی میکردم OV7670 رو با مارس راه بندازم اصلا به فکرم نرسیده بود میتونم ی وبکم یو اس بی استفاده کنم
ممنون مهندس حتما رو بردم تستش میکنم

[ali_h]

سلام
مهندس، پردازنده مارس بورد، fpu داره؟

[farzadsw]

سلام
مهندس، پردازنده مارس بورد، fpu داره؟

بله به صورت سخت افزاری داره. به همین دلیل اگر قصد کراس کامپایل دارید، بهتره از نسخه gnueabihf استفاده کنید که hf آخرش برای همون fpu سخت افزاری هست.

[farzadsw]

من داشتم با هزار بدبختی سعی میکردم OV7670 رو با مارس راه بندازم اصلا به فکرم نرسیده بود میتونم ی وبکم یو اس بی استفاده کنم
ممنون مهندس حتما رو بردم تستش میکنم

چند سری مثال opencv رو با دوربین تست کردم. سرعت پردازش تعریفی نداره!
یعنی بسته به کاربرد شما داره ولی در کل برای خود من رضایت بخش نبود.
به عنوان مثال برنامه optical flow که نه خیلی سبک و نه خیلی سنگین هست رو اجرا کردم. در حالت رزولیشن 640در 480، فریم ریت حدود 7-8 فریم بود و تاخیر زیادی هم تو تصویر دیده میشه (حدود 1 ثانیه!).
رزولیشن رو تا 160 در 120 کم کردم، فریم ریت بالا رفت (حدود 25-30) ولی باز هم تاخیر مشهود بود (حدود 300-400 میلی ثانیه).
خلاصه اینکه برای پردازشهای realtime با opencv چنگی به دل نمی زنه. ولی یکسری مواقع هست که تاخیر زیاد اهمیت نداره، برای اون جور کارها خوبه.

اما علت چیه!؟
در حین همین مثالهایی که تست می کردم، دیدم بعضی مواقع تنها تصویر نمایش داده می شد و پردازش خاصی رو انجام نمی داد ولی cpu حدود 70 درصد لود شده بود و مشکلات فریم ریت پایین هم وجود داشت!
اما نکته جالب این بود که با نرم افزار guvcview تصویر رو حتی تو حالت 640x480 با 30 فریم نمایش میداد. تو این حالت cpu فقط 15 درصد لود میشد!
با یکم بررسی بیشتر مشخص شد که وبکم من دو نوع خروجی YUV و RGB رو ساپورت میکنه، که اولی فشرده نشده و دومی فشرده شده هست. opencv هر تصویری که از دوربین میگیره، اول به RGB تبدیل میکنه و بعد استفاده میکنه ولی اون برنامه guvcview هردوی اینها رو ساپورت میکنه. وقتی فرمت تصویر رو در guvcview از YUV به RGB تغییر دادم دیدم که فریم ریت به شدت پایین اومد (حدود 15) و cpu هم حدود 60 درصد لود شد!
البته تو حالت RGB هم باز guvcview از opencv سریعتر تصویر رو نمایش میده ولی مشکل اصلی همینه که opencv از فرمت فشرده نشده YUV نمیتونه مستقیم استفاده کنه و همین عمل باز کردن RGB بیشتر cpu رو میگیره.

با این حساب تنها راه پردازش realtime روی این پردازنده ها اینه که اولا تا حد امکان ابعاد یا فریم ریت رو کم کرد و اگر امکانش باشه از یک طریق دیگه (به جز توابع اصلی opencv) تصاویر رو از وبکم خوند (مثل کتابخونه V4l).

من سعی میکنم این مشکل فرمت RGB رو دور بزنم، اگر شما هم راه حلی پیدا کردید بگید. اینطوری سرعت پردازش حدود 2-3 برابر بیشتر میشه!

[ali_h]

مهندس مطمئنم که openCV 1.0 می تونست تصاویر YUV رو هم از دوربین بگیره. دقیقاً الان حضور ذهن ندارم بگم کدوم تابع بود ولی یه پارامتر به صورت string داشت که مشخص می کردیم تصویر رو با چه چیدمان بایت و با چه فرمتی از دوربین بخونه.
شما از چه ورژنی استفاده می کنی؟

[farzadsw]

من از ورژن 2.4.4 استفاده میکنم. تو این نسخه که فقط با RGB کار میکنه (البته بعدش میشه به YUV تبدیل کرد ولی دیگه فایده نداره). ترجیه میدم با نسخه های قدیمی تر کار نکنم چون تو این جدیدها توابع بهینه تر نوشته شدن و هم 1 روز روی کامپایلش وقت گذاشتم ! حافظه هم کم مونده و نمیتونم جفتشون رو با هم استفاده کنم.
این چند روز درگیر پروژه دانشگاه هستم، بعدش یکم سعی میکنم این کلاس videocapture خود opencv رو دور بزنم (با V4L میشه گویا) اگه اون هم جواب نداد مجبورم برم سراغ نسخه های قبلی

[ali_h]

منم 100 درصد موافقم که با نسخه های قدیمی کار نکنین. منتهی گفتم چونکه تو نسخه های قبلی هست به احتمال قوی توی نسخه های جدید هم هست.

[farzadsw]

خب بالاخره این مشکل هم حل شد!
با استفاده از کتابخونه V4L میشه تصویر با فرمت YUV رو مستقیم از وبکم خوند، اینطوری نیازی به به دیکود کردن تصویر فشرده (jpeg) تو حالت RGB نیست. از طرف دیگه با YUV خیلی سریعتر تصویر رو میشه به grayScale تبدیل کرد.
الان پیش نمایش تصویر با V4L مشابه guvcview پردازش میگره و تو رزولیشن 120*160 فقط 5-6 درصد از cpu مشغول میشه! قبلا با VideoCapture خود opencv همین کار حدود 60 درصد از cpu رو میگرفت! همش هم به خاطر دیکود کردن jpeg بوده.
برنامه شار نوری رو اجرا کردم. با 3-4 تا نقطه، حدود 15 درصد cpu لود میشد و با 20 تا نقطه حدود 35 درصد و از اون به بعد دیگه تاخیر مشهود میشد.
تو تصویر زیر میزان cpu مصرف شده و (بخشی از) خروجی برنامه شار نوری رو میبیند:



نقاط سفید که با فلش نشون داده شدند همون نقاط شار نوری هستند.

خلاصه اینکه راه افتاد

[dariush_ab]

سلام آقا فرزاد.
خوشحالم که موفق شدید.
فکر کنم مهندس زارعی یک سری دوربین میخوان بیارن.
اگر لطف کنید یک آموزش گام به گام که برای این دوربین ها عملی باشه و دوستانی که قصد شروع از صفر را دارند بتونن کار کنن بگذارید تا به ویکی منتقل کنیم خیلی خوب میشه.
راستی من دو لینک خیلی خوب براتون سراغ دارم.حتما ببینید:
این لینوکس تقریبا مثل lubuntu خودمون هستش ولی واقعا روش کار کردن.
http://www.pcduino.com/?p=374


و این هم realtime:

http://www.pcduino.com/?p=808

[silentshot]

اقا فرزاد دوربین شما خروجی تصویرش yuvهستش؟
اگه دوربین خروجیش به صورت پیشفرض رو rgb هم باشه مشکلی ایجاد میشه؟

من الان درگیر دوربینم کرنل رو تصحیح کردم

[farzadsw]

این بورد PCduino بورد خیلی خوبی هست، شاید از نظر امکانات فرق چندانی با marsboard نداشته باشه ولی "پدر و مادر" دار هست. این خودش باعث میشه تعداد افراد زیادی روش کار کنند و خیلی بیشتر توسعه پیدا کنه. البته مثل خود ARDUINO نمیشه ولی فکر کنم در حد beagle board روش کار بشه.
به هر حال ما که مارس یورد رو داریم استفاده میکنیم و گلیم خودمون رو از آب میکشیم بیرون.

خوشبختانه در مورد پردازش تصویر همون کارهایی که اونا کردن رو من قبلا انجام دادم و "فعلا" چیزی عقب نیستیم. حتی یه کوچولو جلو هستیم. مثلا اونا فعلا به این میگن RealTime :

320×240 px and 10 frames per second

راه حل این قضیه YUV,RGB رو من با کلی جستجو پیدا کردم (تو فروم beagleboard) .
یا برای سادگی بیشتر به جای opencv از simplecv استفاده کردن که در واقع همون opencv هست ولی کندتر!
(اوایلش اینطوریه ولی بعد که تعداد اعضاشون زیاد بشه کارهای جالبی خواهند کرد که ما یاد بگیریم)

دقیقا چه دوربینی میخوان تهیه کنند؟
آخر هفته سعی میکنم مطالب رو یکم شسته رفته کنم.

[farzadsw]

اقا فرزاد دوربین شما خروجی تصویرش yuvهستش؟
اگه دوربین خروجیش به صورت پیشفرض رو rgb هم باشه مشکلی ایجاد میشه؟

من الان درگیر دوربینم کرنل رو تصحیح کردم

برای من هم YUV و هم RGB داره. پیشفرضش فکر کنم YUV باشه.
شما نرم افزار guvcview رو استفاده کنید مشخص میشه.
فکر نمیکنم مشکلی ایجاد بشه، تو V4L میتونید فرمت خروجی رو تعیین کنید.

[dariush_ab]

دقیقا چه دوربینی میخوان تهیه کنند؟
آخر هفته سعی میکنم مطالب رو یکم شسته رفته کنم.

سلام.
آقا فرزاد عزیز خیلی لطف می کنید.
راستش من هم دقیقا نمی دونم چه دوربینی قراره بیارن.باید صبر کنیم تا ok بشه.
موفق باشید.

[farzadsw]

بابت تاخیر من شرمنده هستم، امتحانات میان ترم و ترم شروع شده(6 ام خرداد امتحانات تموم میشه). در اولین فرصت یک آموزش کامل به همراه مثال پردازش تصویر+ارتباط سریال قرار میدم.