When AI Gets It Wrong: Errors, Bias and Deceptionکاتێک ژیریی دەستکرد هەڵە دەکات: هەڵە، لاسەنگی و فریودان

No AI is right all the time. UNIDIR, the UN's institute for disarmament research, sorts the risks of military AI into two families: risks of the technology itself, and risks of how it spreads and is used. This lesson covers the first family: honest mistakes, data problems, deliberate tricks and hidden reasons. People trusting a machine too much (automation bias) is taught in Decisions, human control and responsibility, and the risks of spread and use in War has rules.

هیچ سیستەمێکی ژیریی دەستکرد هەمیشە ڕاست نییە. UNIDIR، دامەزراوەی توێژینەوەی چەکداماڵینی نەتەوە یەکگرتووەکان، مەترسییەکانی ژیریی دەستکردی سەربازی (Military AI) دەکاتە دوو خێزان: مەترسیی خودی تەکنەلۆژیاکە و مەترسیی بڵاوبوونەوە و بەکارهێنانی. ئەم وانەیە باسی خێزانی یەکەم دەکات: هەڵەی ئاسایی، کێشەکانی دراوە (Data)، فێڵی ئەنقەست و هۆکاری شاراوە. متمانەی زیادەی مرۆڤ بە ئامێر (لاسەنگی بەرەو سیستەمی خۆکار (Automation bias)) لە وانەی بڕیار، کۆنترۆڵی مرۆڤ و بەرپرسیارێتیدا فێر دەکرێت. مەترسییەکانی بڵاوبوونەوە و بەکارهێنانیش لە وانەی شەڕیش یاسای هەیەدا.

Any detector can be wrong in two ways. Take a rescue drone whose model looks for people in thermal pictures. A false positive is a false alarm: it says “person”, but there is only a warm rock. A false negative is a miss: a person is there, but it says “nobody”. You met these words in False alarms and missed attacks; here a miss can cost a life.

هەر دۆزەرەوەیەک دەتوانێت بە دوو شێوە هەڵە بکات. درۆنێکی (Drone) ڕزگارکردن وەربگرە کە مۆدێلەکەی (ML model) لە وێنە گەرمییەکاندا بە دوای خەڵکدا دەگەڕێت. ئەرێنیی هەڵە ئاگادارکردنەوەیەکی هەڵەیە: دەڵێت «کەس»، بەڵام تەنیا بەردێکی گەرم هەیە. نەرێنیی هەڵە لەدەستدانێکە: کەسێک لەوێیە، بەڵام دەڵێت «هیچ کەس». ئەم وشانەت پێشتر لە ئاگادارکردنەوەی هەڵە و هێرشی لەدەستچوودا بینیوە؛ لێرەدا لەدەستدانێک دەکرێت بە نرخی ژیانێک تەواو بێت.

After an earthquake, a drone takes 1,000 pictures, and 10 of them show a person. A lazy model that always answers “nobody” is right on 990 pictures: $\frac{990}{1000} = 99\%$ accuracy, and it found no one. Accuracy alone hides the rare cases that matter most. That is why testers count false positives and false negatives separately, and ask how many of the real cases were found: here, 0 of 10.

دوای بوومەلەرزەیەک، درۆنێک ⁦1,000⁩ وێنە دەگرێت کە ⁦10⁩ دانەیان کەسێکیان تێدایە. مۆدێلێکی تەمبەڵ کە هەمیشە دەڵێت «هیچ کەس»، لە ⁦990⁩ وێنەدا ڕاستە: $\frac{990}{1000} = 99\%$ ڕێژەی ڕاستی، بەڵام هیچ کەسێکی نەدۆزییەوە. ڕێژەی ڕاستی بە تەنیا ئەو حاڵەتە دەگمەنانە دەشارێتەوە کە لە هەموو شتێک گرنگترن. بۆیە تاقیکەرەوەکان ئەرێنییە هەڵەکان و نەرێنییە هەڵەکان جیا جیا دەژمێرن و دەپرسن چەند لە حاڵەتە ڕاستەقینەکان دۆزرانەوە: لێرەدا 0 لە ⁦10⁩.

A detector gives each picture a confidence score. Someone must choose the confidence threshold: the lowest score that counts as “person”. Raise it, and there are fewer false alarms but more misses. Lower it, and the misses fall but the false alarms rise. No setting removes both. The animation shows 20 test pictures at four settings.

دۆزەرەوەیەک نمرەیەکی دڵنیایی (Confidence score) بە هەر وێنەیەک دەدات. کەسێک دەبێت سنووری دڵنیایی هەڵبژێرێت: کەمترین نمرە کە وەک «کەس» دەژمێردرێت. بەرزی بکەرەوە، ئەرێنییە هەڵەکان کەمتر دەبن بەڵام نەرێنییە هەڵەکان زیاتر. نزمی بکەرەوە، نەرێنییە هەڵەکان کەم دەبنەوە بەڵام ئەرێنییە هەڵەکان زیاد دەبن. هیچ ڕێکخستنێک هەردووکیان لانابات. ئەنیمەیشنەکە (Animation) ⁦20⁩ وێنەی تاقیکردنەوە لە چوار ڕێکخستندا پیشان دەدات.

The right threshold depends on which mistake costs more, and people must decide that. In a search for earthquake survivors, a miss can cost a life while a false alarm costs a short check, so the threshold is set low and the team checks every alarm. Where a false alarm could harm people, a score is never enough on its own: a person must check the evidence under strict rules (Decisions, human control and responsibility). The threshold is chosen in testing, written down and reviewed when conditions change.

سنووری دڵنیایی گونجاو بەوە دیاری دەکرێت کە کام هەڵە گرانترە و مرۆڤ دەبێت ئەمە بڕیار بدات. لە گەڕان بە دوای ڕزگاربووانی بوومەلەرزەدا، لەدەستدانێک دەکرێت بە نرخی ژیانێک تەواو بێت، لە کاتێکدا ئاگادارکردنەوەیەکی هەڵە تەنیا پشکنینێکی کورتی دەوێت، بۆیە سنوورەکە نزم دادەنرێت و تیمەکە هەموو ئاگادارکردنەوەیەک دەپشکنێت. لەو شوێنانەی ئاگادارکردنەوەیەکی هەڵە دەکرێت زیان بە خەڵک بگەیەنێت، نمرە بە تەنیا هەرگیز بەس نییە: مرۆڤ دەبێت بەپێی ڕێسای توند بەڵگەکان بپشکنێت (بڕیار، کۆنترۆڵی مرۆڤ و بەرپرسیارێتی). سنوورەکە لە کاتی تاقیکردنەوەدا هەڵدەبژێردرێت، دەنووسرێتەوە و کاتێک بارودۆخ دەگۆڕێت پێیدا دەچنەوە.

A model learns the world shown in its training data. If those pictures were all desert, daytime and summer, it may fail in snow, at night or in another country, often without any warning. This is distribution shift, and AI that breaks down like this is called brittle. When researchers collected real cases of such shifts (the WILDS benchmark, 2021), standard models did substantially worse on the shifted data than in their tests.

مۆدێلێک ئەو جیهانە فێر دەبێت کە دراوەی ڕاهێنان (Training data) پیشانی دەدات. ئەگەر هەموو ئەو وێنانە بیابان، ڕۆژ و هاوین بوون، دەکرێت لە بەفر، شەو یان وڵاتێکی تردا شکست بهێنێت، زۆرجار بەبێ هیچ ئاگادارکردنەوەیەک. ئەمە گۆڕانی دابەشبوونی دراوەیە؛ بە ژیریی دەستکرد کە ئاوا تێکدەچێت دەوترێت «شکەنۆک». کاتێک توێژەران حاڵەتی ڕاستەقینەی ئەم گۆڕانانەیان کۆکردەوە (کۆمەڵەی تاقیکردنەوەی WILDS، ⁦2021⁩)، مۆدێلەکانی ئاسایی لەسەر دراوە گۆڕاوەکە بە ڕوونی خراپتر بوون لە تاقیکردنەوەکانیان.

When the training data leaves out some groups or places, the errors fall unevenly: that is bias (Bias in algorithms; a detector trained in one region: an example; face recognition: a real case). The fix starts with the data: collect examples from every condition and place where the system will work, and test each one separately.

کاتێک دراوەی ڕاهێنان هەندێک گرووپ یان شوێن لەبیر دەکات، هەڵەکان بە یەکسانی دابەش نابن: ئەمە لاسەنگییە (لاسەنگیی ئەلگۆریزم؛ دۆزەرەوەیەک کە تەنیا لە یەک هەرێمدا ڕاهێنراوە: نموونەیەک؛ ناسینەوەی ڕووخسار (Facial recognition): حاڵەتێکی ڕاستەقینە). چارەسەر لە دراوەوە دەست پێ دەکات: نموونە لە هەموو ئەو بارودۆخ و شوێنانە کۆ بکەرەوە کە سیستەمەکە تێیدا کار دەکات و هەریەکەیان بە جیا تاقی بکەرەوە.

In war, the other side tries to fool sensors on purpose. Camouflage hides real things by making them look like their surroundings, with nets, paint or covers. Decoys do the opposite: fake objects made to look real, such as an inflatable copy of a vehicle. Both are very old tricks, and both work against computer vision too: a hidden vehicle becomes a miss, and a decoy becomes a false alarm.

لە جەنگدا، لایەنەکەی تر بە ئەنقەست هەوڵ دەدات هەستەوەرەکان (Sensor) فریو بدات. خۆشاردنەوە شتە ڕاستەقینەکان دەشارێتەوە بەوەی وەک دەوروبەرەکەیان دەریان دەخات، بە تۆڕ، ڕەنگ یان داپۆشەر. فریودەرەکان پێچەوانەکەی دەکەن: تەنی ساختەن کە وا دروست کراون ڕاستەقینە دەربکەون، وەک نموونەیەکی پڕ لە هەوای ئۆتۆمبێلێک. هەردووکیان فێڵی زۆر کۆنن و هەردووکیان دژی بینایی کۆمپیوتەریش (Computer vision) کار دەکەن: ئۆتۆمبێلێکی شاردراوە دەبێتە نەرێنیی هەڵە و فریودەرێک دەبێتە ئەرێنیی هەڵە.

In 2014 researchers showed that a tiny, carefully chosen change to a picture, which people cannot even notice, can make a neural network give a wrong answer with high confidence (Goodfellow, Shlens and Szegedy). Such an input is an adversarial example; using one against a working system is called an evasion attack.

لە ساڵی ⁦2014⁩دا توێژەران پیشانیان دا کە گۆڕانێکی زۆر بچووک و بە وردی هەڵبژێردراو لە وێنەیەکدا، کە مرۆڤ تەنانەت هەستیشی پێ ناکات، دەتوانێت وا لە تۆڕێکی دەماری (Neural network) بکات بە دڵنیاییەکی بەرزەوە وەڵامێکی هەڵە بداتەوە (Goodfellow، Shlens و Szegedy). نێوخستەیەک (Input) لەم جۆرە نموونەی دژبەرانەیە؛ بەکارهێنانی دژی سیستەمێکی کارا پێی دەوترێت هێرشی خۆدزینەوە.

It also works in the physical world. In a study published in 2017–2018, a few black and white stickers made a road-sign classifier misread a real stop sign in 84.8% of the video frames filmed from a moving car (Eykholt et al., CVPR 2018). Defences exist, such as training the model on such examples (adversarial training), but NIST notes that they cost some accuracy, and building models that resist these attacks remains an open problem.

لە جیهانی ڕاستەقینەشدا کار دەکات. لە توێژینەوەیەکدا کە لە نێوان ⁦2017⁩ و ⁦2018⁩ بڵاو کرایەوە، چەند لکێنەرێکی ڕەش و سپی وای کرد پۆلێنکەرێکی نیشانەی هاتوچۆ نیشانەیەکی وەستانی ڕاستەقینە لە ⁦84.8%⁩ـی ئەو وێنە ڤیدیۆییانەدا بە هەڵە بخوێنێتەوە کە لە ئۆتۆمبێلێکی جووڵاوەوە گیرابوون (Eykholt و هاوکارانی، ⁦CVPR 2018⁩). بەرگری هەیە، وەک ڕاهێنانی مۆدێلەکە لەسەر ئەم جۆرە نموونانە (ڕاهێنانی دژبەرانە)، بەڵام NIST دەڵێت بەرگرییەکان هەندێک لە ڕێژەی ڕاستی کەم دەکەنەوە و دروستکردنی مۆدێلی بەرگەگر لە بەرانبەر ئەم هێرشانەدا هێشتا کێشەیەکی چارەسەرنەکراوە.

Instead of fooling the model, an attacker can fool or block its sensors. Jamming drowns a signal in noise, so the receiver gets nothing useful. Spoofing sends a fake signal that looks real, so the receiver believes a lie. Satellite navigation is the classic case: its signals are very weak, so a stronger fake signal from the ground can move a drone's “position” far from where it really is (GPS under attack). Defences include cross-checking with other sensors and signed navigation signals (Defending against GPS attacks). Jamming and spoofing are against the law for private people in many countries: only authorised agencies may act against a drone (Who may stop a drone?). How drones protect their own radio links: Keeping links secure.

لە جیاتی فریودانی مۆدێلەکە، هێرشبەرێک (Attacker) دەتوانێت هەستەوەرەکانی فریو بدات یان ڕایانبگرێت. شێواندن سیگناڵێک (Signal) لە ناو ژاوەژاودا (Noise) نوقم دەکات، بۆیە وەرگرەکە هیچ شتێکی بەسوود وەرناگرێت. هەڵخەڵەتاندن سیگناڵێکی ساختە دەنێرێت کە ڕاستەقینە دەردەکەوێت، بۆیە وەرگرەکە باوەڕ بە درۆیەک دەکات. ڕێنیشاندەری مانگی دەستکرد (GNSS) نموونە بەناوبانگەکەیە: سیگناڵەکانی زۆر لاوازن، بۆیە سیگناڵێکی ساختەی بەهێزتر لە سەر زەوییەوە دەتوانێت «شوێن»ـی درۆنێک زۆر دوور لە شوێنی ڕاستەقینەی بگوازێتەوە (GPS لە ژێر هێرشدا). بەرگرییەکان بریتین لە بەراوردکردن لەگەڵ هەستەوەرەکانی تر و سیگناڵی ڕێنیشاندەری واژووکراو (بەرگری دژی هێرشەکانی GPS). شێواندن و هەڵخەڵەتاندن لە زۆر وڵاتدا بۆ کەسانی ئاسایی دژی یاسان: تەنیا دەزگا ڕێگەپێدراوەکان دەتوانن دژی درۆنێک کار بکەن (کێ دەتوانێت درۆنێک ڕابگرێت؟). درۆنەکان چۆن پەیوەندییە ڕادیۆییەکانی خۆیان دەپارێزن: پاراستنی پەیوەندییەکان.

Some attacks happen long before a system is used. In data poisoning, wrong or harmful examples are hidden in the training data: a few hundred mislabelled pictures among a million, or examples with a small secret mark (a trigger) that later makes the model give the attacker's answer. Because training sets are huge and gathered from many sources, poisoned examples are hard to spot. Defences: know where every piece of data comes from, check samples by hand, and test the finished model for strange behaviour.

هەندێک هێرش زۆر پێش بەکارهێنانی سیستەمێک ڕوو دەدەن. لە ژەهراویکردنی دراوەدا، نموونەی هەڵە یان زیانبەخش لە ناو دراوەی ڕاهێناندا دەشاردرێنەوە: چەند سەد وێنەی بە هەڵە نیشانەکراو لە نێو ملیۆنێکدا، یان نموونە بە نیشانەیەکی نهێنیی بچووکەوە (نیشانەی چالاککەر) کە دواتر وا لە مۆدێلەکە دەکات وەڵامی هێرشبەرەکە بداتەوە. چونکە کۆمەڵەدراوەکانی (Dataset) ڕاهێنان زۆر گەورەن و لە زۆر سەرچاوەوە کۆ دەکرێنەوە، دۆزینەوەی نموونە ژەهراوییەکان قورسە. بەرگری: بزانە هەر پارچەیەکی دراوە لە کوێوە هاتووە، نموونەکان بە دەست بپشکنە و مۆدێل تەواوکراوەکە بۆ ڕەفتاری سەیر تاقی بکەرەوە.

NIST, the US standards institute, sorts attacks on AI in its report Adversarial Machine Learning (March 2025) by when they happen and what they aim at:

NIST، دامەزراوەی ستانداردەکانی ئەمریکا، لە ڕاپۆرتی Adversarial Machine Learning (ئازاری ⁦2025⁩) هێرشەکان بۆ سەر ژیریی دەستکرد بەپێی ئەوەی کەی ڕوو دەدەن و ئامانجیان چییە پۆلێن دەکات:

Many modern models are black boxes: we see what goes in and what comes out, but not why. That makes hidden mistakes hard to find. In a 2016 study, a classifier trained on pictures in which every wolf stood in snow learned to answer “wolf” whenever it saw snow. Before seeing explanations, 10 of 27 graduate students who had studied machine learning trusted it; after seeing which parts of the pictures drove its answers, only 3 did (Ribeiro et al., 2016).

زۆرێک لە مۆدێلەکانی نوێ مۆدێلی سندووقی ڕەشن: دەبینین چی دەچێتە ژوورەوە و چی دێتە دەرەوە، بەڵام نازانین بۆچی. ئەمە دۆزینەوەی هەڵە شاراوەکان قورس دەکات. لە توێژینەوەیەکی ساڵی ⁦2016⁩دا، پۆلێنکەرێک کە لەسەر ئەو وێنانە ڕاهێنرابوو کە هەموو گورگەکانیان لە بەفردا بوون، فێر بوو هەر کاتێک بەفری بدیبایە وەڵام بداتەوە «گورگ». پێش بینینی ڕوونکردنەوەکان، ⁦10⁩ لە ⁦27⁩ خوێندکاری خوێندنی باڵا کە فێربوونی ئامێریان خوێندبوو متمانەیان پێی هەبوو؛ دوای بینینی ئەوەی کام بەشی وێنەکان وەڵامەکانیان دیاری دەکرد، تەنیا 3 کەس (Ribeiro و هاوکارانی، ⁦2016⁩).

Explainability tools show which parts of the input drove an answer. NIST's four principles of explainable AI also include knowledge limits: a system should work only in the conditions it was designed for, and only when it is confident enough. The ICRC asks states to rule out autonomous weapons whose effects cannot be sufficiently understood, predicted and explained (War has rules).

ئامرازەکانی توانای ڕوونکردنەوە پیشان دەدەن کام بەشی نێوخستەکە وەڵامێکی دیاری کردووە. چوار بنەماکەی NIST بۆ ژیریی دەستکردی ڕوونکەرەوە سنووری زانینیش دەگرنەوە: سیستەمێک دەبێت تەنیا لەو بارودۆخانەدا کار بکات کە بۆیان دیزاین کراوە و تەنیا کاتێک بە ڕادەی پێویست دڵنیایە. ICRC (لیژنەی نێودەوڵەتیی خاچی سوور) داوا لە دەوڵەتان دەکات ئەو چەکە سەربەخۆیانە (Autonomy) ڕەت بکەنەوە کە ناتوانرێت بە ڕادەی پێویست لە کاریگەرییەکانیان تێبگەن، پێشبینییان بکەن و ڕوونیان بکەنەوە (شەڕیش یاسای هەیە).

No single fix makes AI safe. Responsible users combine several habits, and repeat them as long as the system is used:

هیچ چارەسەرێکی تاک ژیریی دەستکرد سەلامەت ناکات. بەکارهێنەرە بەرپرسیارەکان چەند خوویەک پێکەوە بەکار دەهێنن و تا سیستەمەکە بەکار بێت دووپاتەیان دەکەنەوە: