How AI Sees: Sensors, Computer Vision and Detectionژیریی دەستکرد چۆن دەبینێت: هەستەوەرەکان، بینایی کۆمپیوتەر و دۆزینەوە

Military AI often uses computer vision: the part of AI that finds and understands what is in pictures and videos. It is used to detect and classify objects such as vehicles, ships, aircraft or weapons. Some systems also try to identify people by their faces. That is a different, harder and more error-prone task with its own legal limits; it is taught in Target recognition.

ژیریی دەستکردی سەربازی (Military AI) زۆرجار بینایی کۆمپیوتەر (Computer vision) بەکار دەهێنێت: ئەو بەشەی ژیریی دەستکرد (Artificial intelligence) کە ئەوەی لە وێنە و ڤیدیۆدایە دەدۆزێتەوە و تێی دەگات. بۆ دۆزینەوە و پۆلێنکردنی تەنەکانی وەک ئۆتۆمبێل، کەشتی، فڕۆکە یان چەک بەکار دێت. هەندێک سیستەمیش هەوڵ دەدەن خەڵک بە ڕووخساریان بناسنەوە (ناسینەوەی ڕووخسار (Facial recognition)). ئەمە کارێکی جیاواز، قورستر و پڕهەڵەترە کە سنووری یاسایی خۆی هەیە؛ لە وانەی ناسینەوەی ئامانجدا فێر دەکرێت.

Every vision system follows the same path: a sensor turns light, heat or radio echoes into numbers; a trained model turns the numbers into an answer; and a person checks the answer before anything important happens. This lesson walks along that path.

هەموو سیستەمێکی بینین هەمان ڕێگا دەگرێتەبەر: هەستەوەرێک ڕووناکی، گەرمی یان دەنگدانەوەی ڕادیۆ دەکات بە ژمارە؛ مۆدێلێکی ڕاهێنراو ژمارەکان دەکات بە وەڵام؛ پاشان مرۆڤێک پێش ئەوەی هیچ شتێکی گرنگ ڕوو بدات وەڵامەکە دەپشکنێت. ئەم وانەیە بە درێژایی ئەو ڕێگایەدا دەڕوات.

A digital picture is a grid of tiny squares called pixels (see Pixels, subpixels and colour). In a grey picture, each pixel is one number: 0 for black, 255 for white and the values between for greys. A colour pixel has three numbers: red, green and blue.

وێنەیەکی دیجیتاڵ (Digital) خشتەیەکە لە چوارگۆشەی زۆر بچووک کە پێیان دەوترێت پیکسڵەکان (Pixel) (بڕوانە پیکسڵ، ژێرپیکسڵ و ڕەنگ). لە وێنەیەکی خۆڵەمێشیدا هەر پیکسڵێک یەک ژمارەیە: 0 بۆ ڕەش، ⁦255⁩ بۆ سپی و ژمارەکانی نێوانیان بۆ ڕەنگە خۆڵەمێشییەکان. پیکسڵێکی ڕەنگاوڕەنگ سێ ژمارەی هەیە: سوور، سەوز و شین.

So the computer never “sees” a truck. It receives a table of numbers, and a model must learn which patterns of numbers usually mean “truck”. A 12-megapixel phone photo has $12\,000\,000 \times 3 = 36\,000\,000$ numbers.

کەواتە کۆمپیوتەر هەرگیز بارهەڵگرێک «نابینێت». خشتەیەک ژمارە وەردەگرێت و مۆدێلێک دەبێت فێر ببێت کام وێنەکی ژمارەکان زۆرجار واتای «بارهەڵگر» دەدەن. وێنەیەکی مۆبایلی ⁦12⁩ مێگاپیکسڵ $12\,000\,000 \times 3 = 36\,000\,000$ ژمارەی هەیە.

Nobody writes rules such as “a truck has six dark pixels in a row”. Instead, the model learns from thousands of labelled examples: pictures in which people have marked what is there. This is called supervised learning. Today's vision models use deep learning (Neural Networks and Deep Learning).

کەس یاسای وەک «بارهەڵگر شەش پیکسڵی تاریکی لە ڕیزێکدا هەیە» نانووسێت. لە جیاتی ئەوە، مۆدێلەکە لە هەزاران نموونەی نیشانەکراو (دراوەی نیشانەکراو (Labelled data)) فێر دەبێت: ئەو وێنانەی کە مرۆڤ نیشانی کردووە چییان تێدایە. ئەمە پێی دەوترێت فێربوونی چاودێریکراو. مۆدێلەکانی بینینی ئەمڕۆ فێربوونی قووڵ (Deep learning) بەکار دەهێنن (تۆڕە دەمارییەکان و فێربوونی قووڵ).

Then the model is tested on pictures it has never seen (Training data and test data). A model is only as good as its examples: if they show only desert roads by day, it has learned nothing about snow or night (When AI gets it wrong).

پاشان مۆدێلەکە لەسەر ئەو وێنانە تاقی دەکرێتەوە کە هەرگیز نەیبینیون (دراوەی ڕاهێنان و دراوەی تاقیکردنەوە). مۆدێلێک هێندەی نموونەکانی باشە: ئەگەر تەنیا ڕێگای بیابان بە ڕۆژ پیشان بدەن، هیچ شتێک لەبارەی بەفر یان شەو فێر نەبووە (کاتێک ژیریی دەستکرد هەڵە دەکات).

Computer vision does several different jobs. Three matter most in this course:

بینایی کۆمپیوتەر چەند کارێکی جیاواز دەکات. سێیان لەم کۆرسەدا لە هەموویان گرنگترن:

A detector looks at the whole picture and returns a list. Each item has three parts: a bounding box (four numbers that give the rectangle's place and size), a label such as “truck”, and a confidence score between 0 and 1, such as 0.82.

دۆزەرەوەیەک سەیری هەموو وێنەکە دەکات و لیستێک دەگەڕێنێتەوە. هەر بڕگەیەک سێ بەشی هەیە: سندووقی دەورگر (چوار ژمارە کە شوێن و قەبارەی لاکێشەکە دەدەن)، نیشانە وەک «بارهەڵگر» و نمرەی دڵنیایی لە نێوان 0 و 1ـدا، وەک ⁦0.82⁩.

The detector does not know what a truck is. It has learned which shapes and colours in its training pictures were usually marked “truck”. That is how, in the animation, a bush got the label “car” with a low score.

دۆزەرەوەکە نازانێت بارهەڵگر چییە. فێر بووە کام شێوە و ڕەنگ لە وێنەکانی ڕاهێناندا زۆرجار وەک «بارهەڵگر» نیشان کراون. بۆیە لە ئەنیمەیشنەکەدا (Animation) دەوەنێک بە نمرەیەکی نزم ناوی «ئۆتۆمبێل»ی لێ نرا.

A score of 0.82 means “quite sure”, not “certain”. In a model whose scores are well calibrated, boxes scored about 0.8 are right about 8 times in 10. But many modern neural networks are badly calibrated: their scores do not match how often they are right (Guo et al., 2017). And on pictures unlike its training pictures, a model can be very sure and still wrong.

نمرەی ⁦0.82⁩ واتە «تا ڕادەیەک دڵنیا»، نەک «بێگومان». لە مۆدێلێک کە نمرەکانی بە باشی ڕێکخراون، ئەو سندووقانەی نمرەکەیان نزیکەی ⁦0.8⁩ـە، نزیکەی 8 جار لە ⁦10⁩ جار ڕاستن. بەڵام زۆرێک لە تۆڕە دەمارییەکانی نوێ بە باشی ڕێک نەخراون: نمرەکانیان لەگەڵ ئەوەی چەند جار ڕاستن ناگونجێت (Guo و هاوکارانی، ⁦2017⁩). هەروەها لەسەر ئەو وێنانەی لە وێنەکانی ڕاهێنان ناچن، مۆدێلێک دەتوانێت زۆر دڵنیا بێت و هێشتا هەڵە بێت.

A common example: a drone finds a vehicle and follows it without a pilot steering it. The software part of this is object tracking. The detector finds the vehicles in every frame of the video; the tracker links each box to the box in the next frame that is close by and looks the same, so each vehicle keeps one number (an ID).

نموونەیەکی باو: درۆنێک (Drone) ئۆتۆمبێلێک دەدۆزێتەوە و بەبێ ئەوەی فڕۆکەوانێک ئاڕاستەی بکات بەدوایدا دەچێت. بەشی نەرمەواڵەی (Software) ئەم کارە بەدواداچوونی تەنە. دۆزەرەوەکە لە هەموو وێنەیەکی ڤیدیۆکەدا ئۆتۆمبێلەکان دەدۆزێتەوە؛ بەدواداچووەکە هەر سندووقێک بەو سندووقەی وێنەی دواتر دەبەستێتەوە کە نزیکە و هەمان شێوەی هەیە، بۆ ئەوەی هەر ئۆتۆمبێلێک یەک ژمارە ⁦(ID)⁩ بپارێزێت.

But “suspicious” is not something a camera can see. Within the law, a person decides which vehicle to follow and why, and checks what the system reports. Trackers also make mistakes: when two cars cross or one disappears behind a building, the numbers can swap. Flying the drone can be automatic; the decision is not.

بەڵام «گوماناوی» شتێک نییە کامێرا بتوانێت بیبینێت. مرۆڤ لە چوارچێوەی یاسادا بڕیار دەدات بەدوای کام ئۆتۆمبێلدا بچن و بۆچی. هەروەها ئەوەی سیستەمەکە ڕاپۆرتی دەکات دەپشکنێت. بەدواداچووەکانیش هەڵە دەکەن: کاتێک دوو ئۆتۆمبێل بە یەکتردا تێدەپەڕن یان یەکێکیان لە پشت باڵەخانەیەکەوە ون دەبێت، دەکرێت ژمارەکان تێکەڵ ببن. فڕاندنی درۆنەکە دەکرێت خۆکار بێت؛ بڕیارەکە خۆکار نییە.

An ordinary camera needs light and a clear view. Other sensors fill the gaps (more in Sensors and Sensors: how things feel the world):

کامێرایەکی ئاسایی پێویستی بە ڕووناکی و دیمەنێکی ڕوون هەیە. هەستەوەرەکانی تر ئەو کەلێنانە پڕ دەکەنەوە (زیاتر لە هەستەوەرەکان و هەستەوەرەکان: شتەکان چۆن هەست بە جیهان دەکەن):

Each sensor gives a different kind of data, and each needs a model trained on that kind of data: a model trained on camera pictures cannot read radar pictures. Cameras and thermal payloads on drones are explained in the Drone Technology course: Payloads and mapping.

هەر هەستەوەرێک جۆرێکی جیاوازی دراوە (Data) دەدات و هەریەکەیان مۆدێلێکی پێویستە کە لەسەر هەمان جۆری دراوە ڕاهێنرابێت: مۆدێلێک کە لەسەر وێنەی کامێرا ڕاهێنراوە ناتوانێت وێنەی ڕادار بخوێنێتەوە. کامێرا ئاسایی و گەرمییەکانی سەر درۆنەکان، وەک باری درۆن (Drone payload)، لە کۆرسی تەکنەلۆژیای درۆندا ڕوون کراونەتەوە: باری درۆن و نەخشەکێشان.

Everything warm gives off infrared light, which our eyes cannot see. A thermal camera measures it and shows warm things as bright or coloured, so a person, an animal or a running engine stands out at night. Rescue teams fly thermal cameras on drones to find people after earthquakes and in the mountains at night (AI that protects). Limits: they cannot see through walls or windows, and on a hot afternoon a sun-warmed rock can look like a person. Drone thermal cameras in more detail: Thermal cameras.

هەموو شتێکی گەرم ڕووناکیی ژێرسوور دەردەدات کە چاومان نایبینێت. کامێرایەکی گەرمی ئەم ڕووناکییە دەپێوێت و شتە گەرمەکان بە ڕووناک یان ڕەنگاوڕەنگ پیشان دەدات، بۆیە مرۆڤ، ئاژەڵ یان بزوێنەرێکی کارا بە شەو دیار دەبن. تیمەکانی ڕزگارکردن کامێرا گەرمییەکان لەسەر درۆنەکان دەفڕێنن بۆ دۆزینەوەی خەڵک دوای بوومەلەرزە و لە شاخەکاندا بە شەو (ژیریی دەستکرد بۆ پاراستن). سنوورەکان: ناتوانن بە ناو دیوار یان پەنجەرەدا ببینن و لە پاشنیوەڕۆیەکی گەرمدا بەردێکی گەرمبوو بە خۆر دەکرێت وەک مرۆڤ دەربکەوێت. کامێرا گەرمییەکانی سەر درۆن بە وردی: کامێرا گەرمییەکان.

Radar sends out radio waves and listens for their echoes, to measure how far away things are and how they move. Because it brings its own “light”, it works at night, and its waves pass through clouds and rain. A synthetic-aperture radar (SAR) on a moving satellite joins many echoes along its path, as if it had one huge antenna, to make sharp pictures of the ground. Europe's Sentinel-1 satellites give an “all-weather, day-and-night” supply of such pictures, used for floods, earthquakes and ice.

ڕادار شەپۆلی ڕادیۆیی دەنێرێت و گوێ لە دەنگدانەوەکانیان دەگرێت، بۆ پێوانی دووریی شتەکان و جووڵەیان. چونکە «ڕووناکیی» خۆی لەگەڵ خۆیدا دەهێنێت، بە شەو کار دەکات و شەپۆلەکانی بە ناو هەور و باراندا تێدەپەڕن. ڕاداری کونەی دەستکرد (Synthetic-aperture radar) ⁦(SAR)⁩ لەسەر مانگێکی دەستکردی جووڵاو زۆر دەنگدانەوە بە درێژایی ڕێگاکەی پێکەوە دەبەستێت، وەک ئەوەی ئەنتێنێکی زۆر گەورەی هەبێت، بۆ ئەوەی وێنەی ڕوونی زەوی دروست بکات. مانگە دەستکردەکانی ⁦Sentinel-1⁩ـی ئەورووپا «لە هەموو کەشوهەوایەکدا، شەو و ڕۆژ» وێنەی لەم جۆرە دابین دەکەن کە بۆ لافاو، بوومەلەرزە و سەهۆڵ بەکار دێن.

Radar pictures do not look like photos: calm water looks dark and buildings look bright, so reading them needs trained eyes or trained models. The UN's flood maps made this way are explained in Surveillance and reconnaissance.

وێنەکانی ڕادار لە وێنەی ئاسایی ناچن: ئاوی هێمن تاریک و باڵەخانەکان ڕووناک دەردەکەون، بۆیە خوێندنەوەیان پێویستی بە چاوی ڕاهێنراو یان مۆدێلەکانی ڕاهێنراو هەیە. نەخشەکانی لافاوی نەتەوە یەکگرتووەکان کە بەم شێوەیە دروست دەکرێن، لە وانەی چاودێری و دیدەوانی ڕوون کراونەتەوە.

In fog, a camera sees only a grey shape: “vehicle?”, score 0.40. A radar says: “something metal, 300 m away, moving slowly”. Together they give a stronger answer: “vehicle”, 0.80. Combining sensors like this is sensor fusion. Drones use it all the time to know where they are, by combining satellite positioning (GNSS) with motion sensors (Sensor fusion in the flight controller).

لە تەمدا کامێرا تەنیا شێوەیەکی خۆڵەمێشی دەبینێت: «ئۆتۆمبێل؟»، نمرە ⁦0.40⁩. ڕادارێک دەڵێت: «شتێکی کانزایی، ⁦300⁩ مەتر دوور، بە هێواشی دەجووڵێت». پێکەوە وەڵامێکی بەهێزتر دەدەن: «ئۆتۆمبێل»، ⁦0.80⁩. تێکەڵکردنی هەستەوەرەکان بەم شێوەیە یەکخستنی هەستەوەرەکانە. درۆنەکان هەمیشە بەکاری دەهێنن بۆ ئەوەی بزانن لە کوێن، بە تێکەڵکردنی GNSS لەگەڵ هەستەوەرەکانی جووڵە (یەکخستنی هەستەوەرەکان لە کۆنترۆڵکەری فڕیندا).

Fusion is only as good as its parts: if one sensor is fooled or jammed, the combined answer can be wrong too (When AI gets it wrong).

یەکخستن هێندەی بەشەکانی باشە: ئەگەر هەستەوەرێک فریو بدرێت یان بشێوێنرێت، وەڵامە تێکەڵەکەش دەکرێت هەڵە بێت (کاتێک ژیریی دەستکرد هەڵە دەکات).

Sometimes the question is not “what is this?” but “what is unusual?”. Anomaly detection learns what normal looks like and flags what does not fit, such as an engine that suddenly sounds different. Change detection compares pictures of the same place at two times: after an earthquake, which buildings have collapsed; after a storm, which fields are flooded.

هەندێک جار پرسیارەکە ئەوە نییە «ئەمە چییە؟»، بەڵکو «چی نائاساییە؟». دۆزینەوەی ڕەفتاری نائاسایی فێر دەبێت ئاسایی چۆنە و ئەوەی ناگونجێت نیشان دەکات، وەک بزوێنەرێک کە لەپڕ دەنگی دەگۆڕێت. دۆزینەوەی گۆڕانکاری وێنەی هەمان شوێن لە دوو کاتی جیاوازدا بەراورد دەکات: دوای بوومەلەرزە، کام باڵەخانە ڕووخاون؛ دوای زریان، کام کێڵگە کەوتوونەتە ژێر ئاو.

Both give a clue to check, not an answer. A flagged square may be a collapsed house, a shadow or a parked bus, and only a trained person can tell. Camouflage and decoys are made to fool exactly this kind of system (When AI gets it wrong); how image analysts work with such clues is taught in Surveillance and reconnaissance.

هەردووکیان سەرەداوێک بۆ پشکنین دەدەن، نەک وەڵامێک. چوارگۆشەیەکی نیشانکراو دەکرێت خانوویەکی ڕووخاو، سێبەرێک یان پاسێکی ڕاگیراو بێت و تەنیا کەسێکی ڕاهێنراو دەتوانێت جیایان بکاتەوە. خۆشاردنەوە (Camouflage) و فریودەرەکان (Decoy) بۆ فریودانی ڕێک ئەم جۆرە سیستەمانە دروست دەکرێن (کاتێک ژیریی دەستکرد هەڵە دەکات)؛ شیکەرەوەکانی وێنە چۆن لەگەڵ ئەم سەرەداوانەدا کار دەکەن لە وانەی چاودێری و دیدەوانی فێر دەکرێت.