Chapterبەش 4 · Lectureوانە 4.1
Decisions, Human Control and Responsibilityبڕیار، کۆنترۆڵی مرۆڤ و بەرپرسیارێتی
AI can recommend; people decide. Decision support systems, the person's place in, on or out of the loop, what the rules of 2023–2026 say about human control, automation bias and calibrated trust, who is responsible when AI is part of a harmful decision, and the responsible-AI principles of the US Department of Defense and NATO.
دەتوانێت پێشنیار بکات؛ مرۆڤ بڕیار دەدات. ، شوێنی مرۆڤ لە ناو، لەسەر یان لە دەرەوەی خولدا، ئەوەی ڕێساکانی 2023 تا 2026 لەبارەی کۆنترۆڵی مرۆڤ دەیڵێن، و ، کێ بەرپرسیارە کاتێک بەشێکە لە بڕیارێکی زیانبەخش، هەروەها بنەماکانی لای وەزارەتی بەرگریی ئەمریکا و ناتۆ.
What you will learnچی فێر دەبیت
- Explain what a decision support system does and why the final decision stays with people.
- Tell a human in, on and out of the loop apart, with everyday and high-stakes examples.
- Describe automation bias and how calibrated trust reduces it.
- Answer 'who is responsible?' with the 2026 CCW text and the idea of the responsibility gap.
- Name the US Department of Defense's and NATO's principles of responsible AI.
- ڕوونی بکەیتەوە چی دەکات و بۆچی بڕیاری کۆتایی لای مرۆڤ دەمێنێتەوە.
- ، و لە یەک جیا بکەیتەوە، بە نموونەی ڕۆژانە و نموونەی گرنگیی بەرز.
- وەسف بکەیت و بڵێیت چۆن کەمی دەکاتەوە.
- وەڵامی «کێ بەرپرسیارە؟» بدەیتەوە بە دەقی 2026ی و بیرۆکەی .
- بنەماکانی لای وەزارەتی بەرگریی ئەمریکا و ناتۆ بناسیت.
AI advises, people decideژیریی دەستکرد ئامۆژگاری دەکات، مرۆڤ بڕیار دەدات
In a crisis, commanders must choose quickly between several plans. AI can help by giving recommendations: it collects reports, maps and sensor data, compares the options and ranks them. A tool that does this is a decision support system. It helps commanders choose a strategy — but one rule stays at the centre: AI gives advice; humans make the final decision.
لە کاتی قەیراندا فەرماندەکان دەبێت بە خێرایی لە نێوان چەند پلانێکدا یەکێک هەڵبژێرن. دەتوانێت بە دانی پێشنیار یارمەتییان بدات: ڕاپۆرت، نەخشە و کۆ دەکاتەوە، هەڵبژاردەکان بەراورد دەکات و ڕیزیان دەکات. ئامرازێک کە ئەمە دەکات پێی دەگوترێت . یارمەتی فەرماندەکان دەدات ستراتیژێک هەڵبژێرن — بەڵام یەک ڕێسا لە ناوەڕاستدا دەمێنێتەوە: ئامۆژگاری دەکات؛ مرۆڤ بڕیاری کۆتایی دەدات.
Software that collects and analyses and shows people options, often ranked, with reasons and how certain it is, to help them decide. The people, not the system, make the decision and answer for it.
کە کۆ دەکاتەوە و شی دەکاتەوە و هەڵبژاردەکان، زۆرجار بە ڕیز، لەگەڵ هۆکارەکان و ڕادەی دڵنیاییەکەی پیشانی مرۆڤ دەدات بۆ ئەوەی یارمەتییان بدات بڕیار بدەن. مرۆڤەکان، نەک سیستەمەکە، بڕیار دەدەن و بەرپرسیارن لێی.
Why must a person decide? 'The best strategy' is not just the highest score. It weighs goals, the law, people's safety and values — and facts the system was never told.
بۆچی دەبێت مرۆڤ بڕیار بدات؟ «باشترین ستراتیژ» تەنیا بەرزترین نمرە نییە. ئامانجەکان، یاسا، سەلامەتیی خەڵک و بەهاکان پێکەوە دەکێشرێن — هەروەها ئەو ڕاستییانەی هەرگیز بە سیستەمەکە نەگوتراون.
Example: a safe way outنموونە: ڕێگایەکی سەلامەت بۆ دەرچوون
Imagine a medical team working in a valley. Danger comes close — a flood, or fighting nearby — and the team must leave quickly. A decision support system suggests the best route based on the terrain and where the danger is.
وای دابنێ تیمێکی پزیشکی لە دۆڵێکدا کار دەکات. مەترسی نزیک دەبێتەوە — لافاو، یان شەڕ لە نزیکەوە — و تیمەکە دەبێت بە خێرایی دەربچێت. باشترین ڕێگا پێشنیار دەکات بەپێی سروشتی زەوییەکە و شوێنی مەترسییەکە.
How does it choose? Like A* search, it treats the map as a : every road gets a cost made of distance, slope and risk, and the system looks for the route with the lowest total cost. A good system also shows why it ranked each route, how sure it is, and what it does not know — such as a bridge report that is three hours old.
چۆن هەڵدەبژێرێت؟ وەک گەڕانی A*، نەخشەکە وەک دادەنێت: هەر ڕێگایەک کۆستێکی هەیە کە لە دووری، لێژی و مەترسی پێکهاتووە و سیستەمەکە بەدوای ئەو ڕێگایەدا دەگەڕێت کە کەمترین کۆستی گشتیی هەیە. سیستەمێکی باش هەروەها پیشان دەدات بۆچی هەر ڕێگایەکی بەو شێوەیە ڕیز کردووە، چەند دڵنیایە و چی نازانێت — وەک زانیارییەکی پرد کە سێ کاتژمێر کۆنە.
A map app shows three routes from Hewlêr to Silêmanî. It knows distances and traffic, but not that your grandmother feels sick on mountain roads or that a family wedding blocks one street. You look at its suggestions and choose.
ئەپێکی نەخشە سێ ڕێگا لە هەولێرەوە بۆ سلێمانی پیشان دەدات. دووری و قەرەباڵغی دەزانێت، بەڵام نازانێت داپیرەت لە ڕێگای شاخاویدا دڵی تێکدەچێت یان زەماوەندێکی خێزانی شەقامێکی گرتووە. سەیری پێشنیارەکانی دەکەیت و خۆت هەڵدەبژێریت.
Where the analogy stops workingسنووری ئەم نموونەیە
In a disaster or a war, lives are at stake, data may be wrong or faked, and there is less time to check.
لە کارەسات یان جەنگدا ژیان لە مەترسیدایە، دەکرێت هەڵە یان ساختە بێت و کاتی پشکنین کەمترە.
In, on or out of the loopلە ناو، لەسەر یان لە دەرەوەی خول
Humans make the final decision — in most cases. Those last three words hide the central question of the whole field. Engineers describe it as the person's place in the system's loop of sense → decide → act:
مرۆڤ بڕیاری کۆتایی دەدات — لە زۆربەی حاڵەتەکاندا. ئەو چەند وشەیەی کۆتایی پرسیاری سەرەکیی هەموو ئەم بوارە دەشارنەوە. ئەندازیاران بەم شێوەیە باسی دەکەن: شوێنی مرۆڤ لە خولی سیستەمەکەدا، واتە هەستکردن ← بڕیاردان ← کارکردن:
- : the system proposes, then waits. Nothing happens until a person approves each action. AI agents use the same idea before paying, sending or deleting: see AI Agents and Loop Engineering.
- : the system acts by itself while a person watches and can stop it in time — if that person has enough time, information and authority.
- : once a person starts it, the system chooses and acts with no timely human check.
- : سیستەمەکە پێشنیار دەکات و پاشان چاوەڕێ دەکات. هیچ شتێک ڕوو نادات تا مرۆڤێک ڕەزامەندی لەسەر هەر کارێک نەدات. هەمان بیرۆکە پێش پارەدان، ناردن یان سڕینەوە بەکار دەهێنن: بڕوانە ئەیجێنتەکانی ژیریی دەستکرد و ئەندازیاریی خول.
- : سیستەمەکە خۆی کار دەکات و مرۆڤێک سەیری دەکات و دەتوانێت لە کاتی خۆیدا ڕایبگرێت — ئەگەر ئەو مرۆڤە کات، زانیاری و دەسەڵاتی پێویستی هەبێت.
- : دوای ئەوەی مرۆڤێک هەڵیدەکات، سیستەمەکە خۆی هەڵدەبژێرێت و کار دەکات و هیچ پشکنینێکی مرۆڤ لە کاتی خۆیدا نییە.
In, on or out of the loopلە ناو، لەسەر یان لە دەرەوەی خول
Same idea, different stakesهەمان بیرۆکە، گرنگیی جیاواز
Out of the loop is not always bad: an automatic door opens with nobody checking each opening, and that is fine. The stakes decide. When force and human lives are involved, the question becomes serious.
هەمیشە خراپ نییە: دەرگایەکی خۆکار دەکرێتەوە بەبێ ئەوەی کەس هەر کرانەوەیەک بپشکنێت و ئەمە کێشە نییە. گرنگیی بابەتەکە بڕیار دەدات. کاتێک هێز و ژیانی مرۆڤ تێدایە، پرسیارەکە جددی دەبێت.
Some defensive weapons already work on the loop. According to the International Committee of the Red Cross (ICRC, 8 October 2026), air and missile defence systems can detect, track and intercept incoming missiles, rockets or mortars faster than a person could. They are largely rule-based, and they generally work in controlled environments against a narrow range of targets. People switch them on, supervise them and can stop them. The debate is about how far beyond such limits a system may go.
هەندێک چەکی بەرگری ئێستا بە شێوەی کار دەکەن. بەپێی کۆمیتەی نێودەوڵەتیی خاچی سوور (ICRC، 8ی تشرینی یەکەمی 2026)، سیستەمەکانی بەرگریی ئاسمانی و دژە مووشەک دەتوانن مووشەک، ڕۆکێت یان هاوەنی هاتوو خێراتر لە مرۆڤ بدۆزنەوە، بەدوایدا بچن و ڕایبگرن. زۆربەیان لەسەر بنەمای ڕێسا کار دەکەن و بە گشتی لە ژینگەی کۆنترۆڵکراودا دژی چەند جۆرێکی کەمی ئامانج بەکاردێن. مرۆڤ هەڵیان دەکات، سەرپەرشتییان دەکات و دەتوانێت ڕایانبگرێت. گفتوگۆکە لەسەر ئەوەیە کە سیستەمێک تا چ ڕادەیەک دەتوانێت لەم سنوورانە زیاتر بڕوات.
What the rules say about human controlڕێساکان چی دەڵێن لەبارەی کۆنترۆڵی مرۆڤ
As of November 2026 there is no single world rule, but the main texts agree that people must keep control and judgement:
تا تشرینی دووەمی 2026 هیچ ڕێسایەکی جیهانیی یەکگرتوو نییە، بەڵام دەقە سەرەکییەکان هاوڕان کە مرۆڤ دەبێت کۆنترۆڵ و هەڵسەنگاندنی خۆی بپارێزێت:
- United States, DoD Directive 3000.09 (25 January 2023): autonomous and semi-autonomous weapons must allow 'appropriate levels of human judgment over the use of force' and be tested under realistic conditions. In June 2026 the White House ordered an update within 90 days; as of early November 2026 no new version has been announced.
- Government experts at the CCW (4 September 2026, by consensus): 'control and human judgement' over lethal autonomous weapons are needed (paragraph 34). People exercise them before and during use: they limit where, how long, how widely and against which targets a system works, and they can stop it.
- UN General Assembly (resolution 80/23, 1 December 2025): adopted by 118 votes to 9 (44 abstentions), it demands that 'human control and oversight' be kept over the command, control and communication systems of nuclear weapons, including those that use AI.
- ICRC (8 October 2026): keeping 'meaningful human control' over decisions about life and death is a moral imperative.
- ئەمریکا، ڕێنمایی 3000.09ی وەزارەتی بەرگری (25ی کانوونی دووەمی 2023): چەکی سەربەخۆ و نیمچە سەربەخۆ دەبێت ڕێگە بە «ئاستی گونجاوی هەڵسەنگاندنی مرۆڤ بەسەر بەکارهێنانی هێزدا» بدەن و لە بارودۆخی نزیک لە ڕاستیدا تاقی بکرێنەوە. لە حوزەیرانی 2026دا کۆشکی سپی فەرمانی دا لە 90 ڕۆژدا نوێ بکرێتەوە؛ تا سەرەتای تشرینی دووەمی 2026 هیچ وەشانێکی نوێ ڕانەگەیەندراوە.
- پسپۆڕانی حکومی لە (4ی ئەیلوولی 2026، بە کۆدەنگی): «کۆنترۆڵ و هەڵسەنگاندنی مرۆڤ» بەسەر پێویستە (بڕگەی 34). مرۆڤ پێش بەکارهێنان و لە کاتیدا ئەمە دەکات — بە سنووردارکردنی ئەوەی سیستەمەکە لە کوێ، بۆ چەند کات، بە چ قەبارەیەک و دژی چ ئامانجێک کار دەکات و بە توانای ڕاگرتنی.
- کۆڕی گشتیی نەتەوە یەکگرتووەکان (بڕیارنامەی 80/23، 1ی کانوونی یەکەمی 2025): بە 118 دەنگ بەرامبەر 9 دەنگ و 44 بێلایەن پەسەند کرا و داوا دەکات «کۆنترۆڵ و سەرپەرشتیی مرۆڤ» بەسەر سیستەمەکانی فەرماندەیی، کۆنترۆڵ و پەیوەندیی چەکی ئەتۆمیدا بمێنێتەوە، لەوانە ئەوانەی بەکار دەهێنن.
- کۆمیتەی نێودەوڵەتیی خاچی سوور (8ی تشرینی یەکەمی 2026): پاراستنی «» بەسەر بڕیارەکانی ژیان و مردندا ئەرکێکی ئەخلاقییە.
The idea that people must keep real control over weapons and other high-risk AI: they understand how the system works, know where and when it acts, can stop it, and stay responsible for what it does. States describe it in different words, such as 'appropriate levels of human judgment'.
ئەو بیرۆکەیەیە کە مرۆڤ دەبێت کۆنترۆڵی ڕاستەقینەی بەسەر چەک و سیستەمە پڕمەترسییەکانی تری هەبێت: تێبگات سیستەمەکە چۆن کار دەکات، بزانێت لە کوێ و کەی کار دەکات، بتوانێت ڕایبگرێت و بەرپرسیاری ئەوە بێت کە دەیکات. وڵاتان بە وشەی جیاواز باسی دەکەن، وەک «ئاستی گونجاوی هەڵسەنگاندنی مرۆڤ».
Automation bias: trusting the machine too muchلاسەنگی بەرەو سیستەمی خۆکار: متمانەی زۆر زیاد بە ئامێر
A human in the loop helps only if the human really checks. People feel a strong pull to trust machines too much. This is automation bias. It causes two kinds of error: errors of commission — following wrong advice — and errors of omission — missing a problem because the system did not flag it.
تەنیا ئەو کاتە سوودی هەیە کە مرۆڤەکە بەڕاستی بپشکنێت. مرۆڤ هەستێکی بەهێزی هەیە کە زیاد لە پێویست متمانە بە ئامێر بکات. ئەمە . دوو جۆر هەڵە دروست دەکات: هەڵەی کردن — شوێنکەوتنی ئامۆژگاریی هەڵە — و هەڵەی نەکردن — نەبینینی کێشەیەک چونکە سیستەمەکە ئاماژەی پێ نەکردووە.
A well-known review of the research (Parasuraman and Manzey, 2010) found that automation bias affects beginners and experts alike, and that training or instructions alone cannot prevent it. Time pressure, tiredness and many tasks at once make it worse. The ICRC (2026) warns that when decisions are fast, people may approve AI outputs without real judgement.
پێداچوونەوەیەکی ناسراوی توێژینەوەکان (Parasuraman و Manzey، 2010) دەریخست کە کار لە سەرەتاییەکان و پسپۆڕان بە یەکسانی دەکات و ڕاهێنان یان ڕێنمایی بە تەنیا ناتوانن ڕێگری لێ بکەن. فشاری کات، ماندوویی و زۆری کار لە یەک کاتدا خراپتری دەکەن. کۆمیتەی نێودەوڵەتیی خاچی سوور (2026) ئاگادار دەکاتەوە کە کاتێک بڕیارەکان خێران، لەوانەیە خەڵک بەبێ هەڵسەنگاندنی ڕاستەقینە ڕەزامەندی لەسەر دەرئەنجامەکانی بدەن.
Automation bias: trusting the machine too muchلاسەنگی بەرەو سیستەمی خۆکار: متمانەی زۆر زیاد بە ئامێر
Calibrated trustڕێکخستنی متمانە
The aim is neither to distrust AI — that wastes good help — nor to trust it blindly. It is calibrated trust: trust the system where it was tested and works well; check it where it is weak, new or unsure. Ways to build it:
ئامانج ئەوە نییە متمانە بە نەکەین — چونکە یارمەتیی باش بەفیڕۆ دەدات — هەروەها ئەوەش نییە کوێرانە متمانەی پێ بکەین. ئامانج : لەو شوێنانەی سیستەمەکە تاقیکراوەتەوە و باش کار دەکات متمانەی پێ بکە؛ لەو شوێنانەی لاوازە، نوێیە یان دڵنیا نییە بیپشکنە. ڕێگاکانی دروستکردنی:
- show the confidence score and the reasons on the screen ();
- train people on the system's limits — the 2023 Political Declaration asks states to train users so that they understand those limits and 'to mitigate the risk of automation bias';
- for big decisions, require a second, independent source;
- keep people practised, so they can still do the job without the machine.
- و هۆکارەکان لەسەر شاشە پیشان بدە ()؛
- خەڵک لەسەر سنوورەکانی سیستەمەکە ڕابهێنە — ڕاگەیەندراوی سیاسیی 2023 داوا لە دەوڵەتان دەکات بەکارهێنەران ڕابهێنن بۆ ئەوەی لەو سنوورانە تێبگەن و « کەم بکەنەوە»؛
- بۆ بڕیاری گەورە، سەرچاوەیەکی دووەمی سەربەخۆ پێویست بکە؛
- خەڵک ڕاهێنراو بهێڵەوە، بۆ ئەوەی هێشتا بتوانن بەبێ ئامێرەکە کارەکە بکەن.
Who is responsible?کێ بەرپرسیارە؟
Imagine an invented case. A system wrongly labels a civilian truck as a military vehicle, nobody questions the label, and the truck is attacked. Who is responsible?
ڕووداوێکی خەیاڵی وێنا بکە. سیستەمێک بە هەڵە بارهەڵگرێکی مەدەنی وەک ئۆتۆمبێلێکی سەربازی ، کەس گومان لە نیشانەکە ناکات و هێرش دەکرێتە سەر بارهەڵگرەکە. کێ بەرپرسیارە؟
The law's answer is clear. The CCW experts' report of September 2026 (paragraphs 28 and 41) says that international humanitarian law 'imposes obligations on States, parties to armed conflict, and individuals, not on machines', and that 'accountability cannot be transferred to machines'. States must make sure that individuals can be held to account, through a responsible chain of human command and control.
وەڵامی یاسا ڕوونە. ڕاپۆرتی ئەیلوولی 2026ی پسپۆڕانی (بڕگەکانی 28 و 41) دەڵێت «ئەرک دەخاتە سەر دەوڵەتان، لایەنەکانی ململانێی چەکدار و تاکەکان، نەک سەر ئامێرەکان» و « ناگوازرێتەوە بۆ ئامێر». دەوڵەتان دەبێت دڵنیا بن کە دەکرێت لە تاکەکان بپرسرێتەوە، لە ڕێگەی زنجیرەیەکی بەرپرسیاری فەرماندەیی و کۆنترۆڵی مرۆڤەوە.
In practice it is harder. Many people each did one part: designers chose the data, testers checked the system, a commander decided to use it, an operator accepted the label. Each may say 'it was not only me'. This worry is called the responsibility gap. The answer is to make responsibility clear before anything happens: legal reviews (War Has Rules), realistic testing, training, records of what the system and the people did, and investigation of every incident.
لە ڕاستیدا قورسترە. زۆر کەس هەریەکەیان بەشێکیان کردووە: دیزاینەران هەڵبژارد، تاقیکەرەوان سیستەمەکەیان پشکنی، فەرماندەیەک بڕیاری دا بەکاری بهێنێت و ئۆپەراتۆرێک نیشانەکەی قبووڵ کرد. هەریەکەیان دەکرێت بڵێت «تەنیا من نەبووم». ئەم نیگەرانییە پێی دەگوترێت . وەڵامەکە ئەوەیە کە بەرپرسیارێتی پێش ڕوودانی هەر شتێک ڕوون بکرێتەوە: پێداچوونەوەی یاسایی (شەڕیش یاسای هەیە)، تاقیکردنەوەی نزیک لە ڕاستی، ڕاهێنان، تۆماری ئەوەی سیستەمەکە و مرۆڤەکان کردوویانە و لێکۆڵینەوە لە هەموو ڕووداوێک.
Who is responsible?کێ بەرپرسیارە؟
Finding what went wrongدۆزینەوەی ئەوەی هەڵە بوو
Investigators look for every failure, not for one person to blame. In our invented case, five things could have gone wrong — and each has a fix.
لێکۆڵەران بەدوای هەموو هەڵەیەکدا دەگەڕێن، نەک بەدوای یەک کەسدا بۆ تاوانبارکردن. لە ڕووداوە خەیاڵییەکەماندا، پێنج شت دەکرێت هەڵە بووبن — و هەریەکەیان چارەسەرێکی هەیە.
This works only if there are records (logs) of the data, the settings and the decisions. That is why the principles of responsible AI ask for systems that are traceable.
ئەمە تەنیا ئەو کاتە کار دەکات کە تۆمار () هەبێت بۆ ، ڕێکخستنەکان و بڕیارەکان. لەبەر ئەمە بنەماکانی داوای سیستەمی بەدواداچوونکراو دەکەن ().
An operator approves 60 AI suggestions in one hour without a problem. The 61st suggestion is wrong, and it is approved too. Name the effect, the type of error, and two fixes.
ئۆپەراتۆرێک لە کاتژمێرێکدا ڕەزامەندی لەسەر 60 پێشنیاری دەدات بەبێ کێشە. پێشنیاری 61 هەڵەیە و ڕەزامەندیی لەسەریش دەدرێت. ناوی کاریگەرییەکە، جۆری هەڵەکە و دوو چارەسەر بنووسە.
Hintئاماژە
Think of the animation earlier in this lesson.
بیر لە پێشووی ئەم وانەیە بکەرەوە.
Show answerوەڵامەکە پیشان بدە
- Effect: automation bias — after many correct suggestions, the operator stopped checking.
- Error: an error of commission — wrong advice was followed.
- Fixes (any two): a verify step for high-stakes suggestions; a second, independent source; show confidence and reasons; fewer tasks and rest breaks; training on the system's limits.
- کاریگەری: — دوای زۆر پێشنیاری ڕاست، ئۆپەراتۆرەکە پشکنینی وەستاند.
- هەڵە: هەڵەی کردن — شوێنی ئامۆژگاریی هەڵە کەوت.
- چارەسەر (هەر دووان): هەنگاوێکی پشتڕاستکردنەوە بۆ پێشنیارە گرنگەکان؛ سەرچاوەیەکی دووەمی سەربەخۆ؛ پیشاندانی دڵنیایی و هۆکار؛ کاری کەمتر و پشوو؛ ڕاهێنان لەسەر سنوورەکانی سیستەمەکە.
Responsible AI: principles in practiceژیریی دەستکردی بەرپرسیار: بنەماکان لە پراکتیکدا
'Military AI must be used carefully and ethically' — but what does that mean in practice? Governments have written it down as principles of responsible AI. Two well-known sets:
«دەبێت بە وریایی و بە ئەخلاقەوە بەکار بهێنرێت» — بەڵام ئەمە لە پراکتیکدا واتای چییە؟ حکومەتەکان وەک بنەماکانی نووسیویانەتەوە. دوو کۆمەڵەی ناسراو:
| US Department of Defense (24 February 2020)وەزارەتی بەرگریی ئەمریکا (24ی شوباتی 2020) | NATO (2021; kept in the 2024 strategy)ناتۆ (2021؛ لە ستراتیژی 2024دا ماوەتەوە) | In one lineبە یەک دێڕ |
|---|---|---|
| Responsibleبەرپرسیار | Responsibility and accountabilityبەرپرسیارێتی و | people use judgement and care, and stay responsibleمرۆڤ هەڵسەنگاندن و وریایی بەکار دەهێنێت و بەرپرسیار دەمێنێتەوە |
| Equitableدادپەروەر | Bias mitigationکەمکردنەوەی | steps to reduce unintended bias, also in the dataهەنگاو بۆ کەمکردنەوەی نامەبەست، تەنانەت لە |
| Traceableبەدواداچوونکراو | Explainability and traceability و | understandable, with clear records of data and methodsتێگەیشتنی ئاسان، لەگەڵ تۆماری ڕوونی و ڕێگاکان |
| Reliableپشتپێبەستراو | Reliability | clear uses, tested for safety across its whole lifeبەکارهێنانی ڕوون، تاقیکراوە بۆ سەلامەتی لە هەموو تەمەنیدا |
| Governableکۆنترۆڵکراو | Governability | people can detect unintended behaviour and switch it offمرۆڤ دەتوانێت ڕەفتاری نامەبەست بدۆزێتەوە و بیکوژێنێتەوە |
| — | Lawfulnessیاساییبوون | national and international law, including humanitarian lawیاسای نیشتیمانی و نێودەوڵەتی، لەوانە یاسای مرۆیی |
Notice how these match the trustworthy-AI ideas in AI ethics. NATO's revised strategy of July 2024 also names 'accountability in human-machine teaming' as an issue to watch.
سەرنج بدە چۆن ئەمانە لەگەڵ بیرۆکەکانی متمانەپێکراو لە ئەخلاقی ژیریی دەستکرد دەگونجێن. ستراتیژی نوێکراوەی ناتۆ لە تەممووزی 2024 هەروەها « لە » وەک بابەتێک ناو دەبات کە پێویستی بە سەرنجە.
Common mistakesهەڵە باوەکان
Exercisesڕاهێنانەکان
For each system say: human in, on or out of the loop? (a) A hospital AI marks X-ray pictures; a doctor confirms every diagnosis. (b) A factory robot arm works alone behind a fence; an engineer watches the screens and can press the emergency stop. (c) A spam filter deletes messages and nobody checks them. (d) After a crew switches it on, an air-defence system stops incoming rockets by itself while the crew supervises.
بۆ هەر سیستەمێک بڵێ: مرۆڤ لە ناو، لەسەر یان لە دەرەوەی خولە؟ (a) نەخۆشخانەیەک وێنەی تیشکی X نیشانە دەکات؛ پزیشکێک هەموو دەستنیشانکردنێک پشتڕاست دەکاتەوە. (b) بازووی ڕۆبۆتی کارگەیەک بە تەنیا لە پشت تەلبەندێکەوە کار دەکات؛ ئەندازیارێک سەیری شاشەکان دەکات و دەتوانێت دوگمەی وەستانی فریاکەوتن دابگرێت. (c) فلتەری نامەکان دەسڕێتەوە و کەس نایانپشکنێت. (d) دوای ئەوەی تیمێک هەڵیدەکات، سیستەمێکی بەرگریی ئاسمانی خۆی ڕۆکێتی هاتوو ڕادەگرێت لە کاتێکدا تیمەکە سەرپەرشتی دەکات.
Show answerوەڵامەکە پیشان بدە
- (a) In the loop — the doctor approves each result.
- (b) On the loop — the arm acts by itself; a person supervises and can stop it.
- (c) Out of the loop — no person checks; acceptable for spam, but you may lose a good message.
- (d) On the loop — the crew switches it on, supervises and can stop it.
- (a) — پزیشکەکە ڕەزامەندی لەسەر هەر ئەنجامێک دەدات.
- (b) — بازووەکە خۆی کار دەکات؛ مرۆڤێک سەرپەرشتی دەکات و دەتوانێت ڕایبگرێت.
- (c) — کەس ناپشکنێت؛ بۆ گونجاوە، بەڵام لەوانەیە نامەیەکی باش لەدەست بدەیت.
- (d) — تیمەکە هەڵیدەکات، سەرپەرشتی دەکات و دەتوانێت ڕایبگرێت.
You are designing the screen of a decision support system for a rescue team. List at least five things the screen should show or do so that people decide well.
تۆ شاشەی بۆ تیمێکی ڕزگارکردن دیزاین دەکەیت. لانیکەم پێنج شت بنووسە کە شاشەکە دەبێت پیشانیان بدات یان بیانکات بۆ ئەوەی مرۆڤ باش بڕیار بدات.
Show answerوەڵامەکە پیشان بدە
- several options, ranked, not just one answer;
- the reasons for each ranking;
- how sure the system is (confidence) and what it does not know, such as old or missing data;
- a clear step where a named person chooses;
- a record (log) of the suggestion, the decision and who made it.
- چەند هەڵبژاردەیەکی ڕیزکراو، نەک تەنیا یەک وەڵام؛
- هۆکاری ڕیزکردنی هەریەکەیان؛
- سیستەمەکە چەند دڵنیایە () و چی نازانێت، وەک کۆن یان نەبوو؛
- هەنگاوێکی ڕوون کە کەسێکی دیاریکراو تێیدا هەڵدەبژێرێت؛
- تۆمارێک () بۆ پێشنیارەکە، بڕیارەکە و ئەوەی بڕیاری دا.
For the invented case of the wrongly labelled truck, write one thing each could have done better: the designers, the testers, the commander, the operator and the state.
بۆ ڕووداوە خەیاڵییەکەی بارهەڵگرە بە هەڵە نیشانەکراوەکە، بۆ هەریەکێک لەمانە یەک شت بنووسە کە دەیتوانی باشتر بیکات: دیزاینەران، تاقیکەرەوان، فەرماندە، ئۆپەراتۆر و دەوڵەت.
Show answerوەڵامەکە پیشان بدە
- Designers: include local civilian trucks in the training data and write down the limits.
- Testers: test in dust, at long range and with look-alike vehicles, and report the error rates.
- Commander: limit where and when it is used and require a second source.
- Operator: verify before accepting, especially when the score is low.
- State: carry out a legal review, set rules and training, and investigate the incident.
- دیزاینەران: بارهەڵگری مەدەنیی ناوچەکە بخەنە ناو و سنوورەکان بنووسنەوە.
- تاقیکەرەوان: لە تۆز، لە دووریی زۆر و لەگەڵ ئۆتۆمبێلی لێکچوو تاقی بکەنەوە و ڕێژەی هەڵەکان ڕابگەیەنن.
- فەرماندە: سنوور بۆ شوێن و کاتی بەکارهێنانی دابنێت و سەرچاوەی دووەم پێویست بکات.
- ئۆپەراتۆر: پێش قبووڵکردن پشتڕاستی بکاتەوە، بەتایبەتی کاتێک نمرەکە نزمە.
- دەوڵەت: بکات، ڕێسا و ڕاهێنان دابنێت و لە ڕووداوەکە بکۆڵێتەوە.
Summaryکورتە
What does a decision support system do, and who decides?سیستەمی پشتگیریی بڕیاردان چی دەکات و کێ بڕیار دەدات؟
It collects and analyses data and shows ranked options with reasons and confidence. A person decides and answers for the decision.
کۆ دەکاتەوە و شی دەکاتەوە و هەڵبژاردەی ڕیزکراو لەگەڵ هۆکار و دڵنیایی پیشان دەدات. مرۆڤ بڕیار دەدات و بەرپرسیارە لە بڕیارەکە.
What is the difference between a human in, on and out of the loop?جیاوازیی نێوان مرۆڤ لە ناو، لەسەر و لە دەرەوەی خول چییە؟
In: the system waits for a person to approve each action. On: the system acts and a person can stop it in time. Out: no timely human check.
لە ناو: سیستەمەکە چاوەڕێ دەکات تا مرۆڤ ڕەزامەندی لەسەر هەر کارێک بدات. لەسەر: سیستەمەکە کار دەکات و مرۆڤ دەتوانێت لە کاتی خۆیدا ڕایبگرێت. لە دەرەوە: پشکنینی مرۆڤ لە کاتی خۆیدا نییە.
What is automation bias, and what are its two errors?لاسەنگی بەرەو سیستەمی خۆکار چییە و دوو هەڵەکەی کامانەن؟
Trusting a machine too much: errors of commission (following wrong advice) and errors of omission (missing what it did not flag).
متمانەی زۆر زیاد بە ئامێر: هەڵەی کردن (شوێنکەوتنی ئامۆژگاریی هەڵە) و هەڵەی نەکردن (نەبینینی ئەوەی ئاماژەی پێ نەکردووە).
Who is responsible when AI is part of a harmful decision?کێ بەرپرسیارە کاتێک ژیریی دەستکرد بەشێکە لە بڕیارێکی زیانبەخش؟
States, parties to the conflict and individuals — not machines. Accountability cannot be transferred to machines (CCW experts, 2026).
دەوڵەتان، لایەنەکانی ململانێ و تاکەکان — نەک ئامێر. ناگوازرێتەوە بۆ ئامێر (پسپۆڕانی ، 2026).
Name three of NATO's principles of responsible use.سێ لە بنەماکانی ناتۆ بۆ بەکارهێنانی بەرپرسیارانە بنووسە.
Any three of: lawfulness; responsibility and accountability; explainability and traceability; reliability; governability; bias mitigation.
هەر سێیەک لەمانە: یاساییبوون؛ بەرپرسیارێتی و ؛ و ؛ ؛ ؛ کەمکردنەوەی .
Lesson complete!وانەکە تەواو بوو!
Well done. Review the key terms, then go on to the next lesson.دەستخۆش. سەیرێکی زاراوە سەرەکییەکان بکەرەوە، پاشان بڕۆ بۆ وانەی داهاتوو.
Key termsزاراوە سەرەکییەکان
War Has Rules: International Law and Military AIشەڕیش یاسای هەیە: یاسای نێودەوڵەتی و ژیریی دەستکردی سەربازی
Related lecturesوانە پەیوەندیدارەکان
- When AI Gets It Wrong: Errors, Bias and Deceptionکاتێک ژیریی دەستکرد هەڵە دەکات: هەڵە، لاسەنگی و فریودان
- Target Recognition: Recognising Is Not Identifyingناسینەوەی ئامانج: ناسینەوەی جۆر، دیاریکردنی ناسنامە نییە
- War Has Rules: International Law and Military AIشەڕیش یاسای هەیە: یاسای نێودەوڵەتی و ژیریی دەستکردی سەربازی
- A* Searchگەڕانی A*
- What Is Artificial Intelligence?ژیریی دەستکرد چییە؟
- AI in Cybersecurity: Bias, Privacy, Surveillance and Deepfakesژیریی دەستکرد لە ئاسایشی سایبەردا: لاسەنگی، تایبەتێتی، چاودێری و دیپفەیکەکان
References and further readingسەرچاوەکان و خوێندنەوەی زیاتر
- ICRC: Frequently asked questions — autonomous weapon systems (8 October 2026)
- ICRC: Frequently asked questions — AI decision-support systems in armed conflict (8 October 2026)
- US Department of Defense: DoD announces update to DoD Directive 3000.09, 'Autonomy in Weapon Systems' (25 January 2023)
- DoD Issuances: DoD Directives list (DoDD 3000.09 dated 1/25/2023; checked 28 October 2026, no newer version announced by 4 November 2026)
- The White House: National Security Presidential Memorandum NSPM-11, Artificial Intelligence in the National Security Enterprise (5 June 2026)
- Congressional Research Service: Defense Primer — U.S. Policy on Lethal Autonomous Weapon Systems (IF11150, 26 March 2026)
- CCW Group of Governmental Experts on LAWS: final report CCW/GGE.1/2026/3 (adopted 4 September 2026)
- UN press release GA/12736: General Assembly adopts First Committee texts (1 December 2025)
- UN press release GA/12660: General Assembly adopts First Committee texts (2 December 2024)
- UN Project: vote record of resolution A/RES/80/23, risks of AI in nuclear command, control and communications (1 December 2025)
- Parasuraman, R. and Manzey, D. H. (2010). Complacency and bias in human use of automation: an attentional integration. Human Factors 52(3), 381–410
- Political Declaration on Responsible Military Use of Artificial Intelligence and Autonomy (US State Department archive)
- US Department of Defense: DoD adopts ethical principles for artificial intelligence (24 February 2020)
- NATO: Summary of the NATO Artificial Intelligence Strategy (22 October 2021)
- NATO: Summary of NATO's revised Artificial Intelligence strategy (10 July 2024)
- Just Security: The Pentagon's autonomous weapons definitions don't need an overhaul, they need an update (24 July 2026; the 90-day update ordered by NSPM-11)
This lecture is a first edition. The Kurdish text and terminology are waiting for review by Kurdish IT teachers.ئەم وانەیە چاپی یەکەمە. دەقە کوردییەکە و زاراوەکانی چاوەڕێی پێداچوونەوەی مامۆستایانی کوردی بواری IT ن.