Chapterبەش 9 · Lectureوانە 9.1

NoSQL and Big DataNoSQL و دراوەی گەورە

Why the relational model is no longer the only answer: structured, semi-structured and unstructured data, what NoSQL databases are, the four NoSQL families with real products, what you gain and what you give up, big data and its Vs, and the tools that handle it (Hadoop, Spark and streaming).

بۆچی مۆدێلی پەیوەندیدار ئیتر تاکە وەڵام نییە: ، و ، چییە، چوار خێزانەکەی بە بەرهەمی ڕاستەقینەوە، چی بەدەست دەهێنیت و چی لەدەست دەدەیت، و Vـەکانی و ئەو ئامرازانەی مامەڵەی لەگەڵ دەکەن (Hadoop، Spark و ).

20 min read22 خولەک خوێندنەوە · 22 stepsهەنگاو

What you will learnچی فێر دەبیت

Tell structured, semi-structured and unstructured data apart.
Explain what NoSQL means and its main characteristics, including eventual consistency.
Name the four NoSQL families, with real products and a good use for each.
Weigh the advantages and limitations of NoSQL, and say when a relational database is still the right choice.
Define big data with its Vs.
Describe what Hadoop, MapReduce, Spark and streaming tools do.

، و لە یەک جیا بکەیتەوە.
ڕوونی بکەیتەوە واتای چییە و تایبەتمەندییە سەرەکییەکانی چین، لەوانە .
ناوی چوار خێزانەکەی بهێنیت، لەگەڵ بەرهەمی ڕاستەقینە و بەکارهێنانێکی باش بۆ هەر یەکەیان.
سوود و سنووردارییەکانی هەڵبسەنگێنیت و بڵێیت کەی هێشتا هەڵبژاردنی دروستە.
پێناسەی بە Vـەکانییەوە بکەیت.
باسی ئەوە بکەیت کە Hadoop، MapReduce، Spark و ئامرازەکانی چی دەکەن.

Beyond the relational modelلە دەرەوەی مۆدێلی پەیوەندیدار

Databases have changed a lot over the years to meet the needs of modern applications. A , with its tables of rows and columns, is very good at structured data. But it struggles with data that is very large, arrives very fast or has no fixed shape. This lesson looks at two answers to that problem: NoSQL databases and big data tools. The third answer, cloud databases, has its own lesson.

بە درێژایی ساڵان زۆر گۆڕاون تا پێداویستییەکانی نوێ پڕ بکەنەوە. ، بە و و ، لە زۆر باشە. بەڵام لەگەڵ کە زۆر گەورەیە، زۆر خێرا دێت یان شێوەیەکی جێگیری نییە، تووشی گرفت دەبێت. ئەم وانەیە سەیری دوو وەڵام بۆ ئەو کێشەیە دەکات: و ئامرازەکانی . وەڵامی سێیەم، ، وانەی تایبەتی خۆی هەیە.

NoSQL: beyond the relational model.
The four types of NoSQL database.
Big data, the 3Vs and the tools that handle it.

: لە دەرەوەی مۆدێلی پەیوەندیدار.
چوار جۆرەکەی .
، سێ Vـەکە و ئەو ئامرازانەی مامەڵەی لەگەڵ دەکەن.

Structured, semi-structured and unstructured dataدراوەی ڕێکخراو، دراوەی نیمچەڕێکخراو و دراوەی ناڕێکخراو

Definitionپێناسە

Data that fits a fixed design of rows and columns, so every has the same . A stores this kind of data.

ئەو دراوەیەیە کە لەگەڵ دیزاینێکی جێگیری ڕیز و ستووندا دەگونجێت، بۆیە هەموو هەمان هەیە. ئەم جۆرە دراوەیە هەڵدەگرێت.

Structured data fits neatly into rows and columns, like a table of students with the same fields for everyone.

بە ڕێکی لەناو و جێی دەبێتەوە، وەک قوتابیان کە هەمان بۆ هەمووان هەیە.

Definitionپێناسە

Data with no fixed structure that does not fit into rows and columns, such as photos, videos, voice messages and free text.

ئەو دراوەیەیە کە پێکهاتەیەکی جێگیری نییە و ناچێتە ناو ڕیز و ستوونەوە، وەک وێنە، ڤیدیۆ، نامەی دەنگی و دەقی ئازاد.

Unstructured data, such as photos, messages and video, does not fit into rows and columns.

، وەک وێنە، نامە و ڤیدیۆ، لەناو و جێی نابێتەوە.

Between the two is . It has labels (field names), but no fixed table shape: each record can have different fields. JSON and XML documents are the usual examples. Below, Shilan's record has a city and a list of phone numbers; Rezan's has an email address instead.

لە نێوان ئەم دووانەدا هەیە. ناونیشانی هەیە (ناوی )، بەڵام شێوەیەکی جێگیری نییە: هەر دەتوانێت جیاوازی هەبێت. بەڵگەنامەکانی JSON و XML نموونە باوەکانن. لە خوارەوە شیلان شار و لیستێکی ژمارە تەلەفۆنی تێدایە؛ هی ڕێزان لە جیاتی ئەوە ناونیشانی تێدایە.

Two records with different fields (semi-structured)دوو تۆمار بە ستوونەکانی جیاواز (دراوەی نیمچەڕێکخراو)JSON

[
  { "id": 1, "name": "Shilan", "city": "Erbil", "phones": ["0750 000 1111", "0770 000 2222"] },
  { "id": 2, "name": "Rezan", "email": "rezan@example.com" }
]

Explain the codeڕوونکردنەوەی کۆدەکە

Lineدێڕی 2

Shilan's record has a city and a list of two phone numbers.

شیلان شار و لیستێکی دوو ژمارە تەلەفۆنی هەیە.

Lineدێڕی 3

Rezan's record has no city and no phones, but it has an email. A relational table would need empty (NULL) cells for this.

ڕێزان شار و تەلەفۆنی نییە، بەڵام هەیە. پەیوەندیدار بۆ ئەمە پێویستی بە خانەی بەتاڵ () دەبوو.

The same two records in XMLهەمان دوو تۆمار بە XMLXML

<students>
  <student id="1">
    <name>Shilan</name>
    <city>Erbil</city>
    <phone>0750 000 1111</phone>
    <phone>0770 000 2222</phone>
  </student>
  <student id="2">
    <name>Rezan</name>
    <email>rezan@example.com</email>
  </student>
</students>

Explain the codeڕوونکردنەوەی کۆدەکە

Lineدێڕی 2

Each record is an element between a start tag and an end tag; id="1" is an attribute of it.

هەر لە نێوان دەستپێک و کۆتاییدا؛ id="1" ئەوە.

Lineدێڕی 3-6

Elements sit inside elements, so an XML document is a tree. Shilan has two phone elements; Rezan has none.

لە ناو تردان، بۆیە بەڵگەنامەیەکی XML درەختێکە. شیلان دوو phoneـی هەیە؛ ڕێزان هیچی نییە.

Lineدێڕی 1, 12

Any table can be written like this (one element per row, one per column), but most XML documents are trees that do not fit one table.

هەر دەکرێت بەم شێوەیە بنووسرێت ( بۆ هەر و یەکێک بۆ هەر )، بەڵام زۆربەی بەڵگەنامەکانی XML درەختن کە لە یەک جێیان نابێتەوە.

Quick checkپشکنینی خێراA folder of X-ray images from a hospital is…بوخچەیەک وێنەی تیشکی ئێکس لە نەخۆشخانەیەکەوە…semi-structured dataدراوەی نیمچەڕێکخراوەstructured dataدراوەی ڕێکخراوەunstructured dataدراوەی ناڕێکخراوە

Structured, semi-structured and unstructured dataدراوەی ڕێکخراو، دراوەی نیمچەڕێکخراو و دراوەی ناڕێکخراو

Practice: which kind of data?ڕاهێنان: کام جۆری دراوە؟

ExerciseڕاهێنانSort the dataدراوەکان پۆلێن بکە

Is each one structured, semi-structured or unstructured? (a) a printed newspaper page; (b) a table of football results; (c) the HTML of a web page; (d) patient records in a hospital database; (e) a video of a lecture; (f) a class attendance sheet kept as a table; (g) social-media posts with their hashtags; (h) the answers sent from an online form.

هەر یەکێکیان ، یان ؟ (أ) لاپەڕەیەکی ڕۆژنامەی چاپکراو؛ (ب) خشتەیەکی ئەنجامی یارییەکانی تۆپی پێ؛ (ج) HTMLـی ؛ (د) نەخۆشان لە نەخۆشخانەیەکدا؛ (هـ) ڤیدیۆیەکی وانەیەک؛ (و) لیستی ئامادەبوونی پۆلێک کە وەک خشتە هەڵگیراوە؛ (ز) پۆستەکانی لەگەڵ هاشتاگەکانیان؛ (ح) ئەو وەڵامانەی لە ئۆنلاینەوە دەنێردرێن.

Hintئاماژە

Ask: are there field names, and does every item have the same fields?

بپرسە: ئایا ناوی هەیە و ئایا هەموو بەشەکان هەمان هەیە؟

Show answerوەڵامەکە پیشان بدە

(a) Unstructured: free text and photos with no field names. (An online news article whose title, author and date are tagged would be semi-structured.)
(b) Structured: the same columns for every match (teams, goals, date).
(c) Semi-structured: tags label the parts (headings, links), but every page has its own shape.
(d) Structured: rows and columns in tables. (X-ray images stored beside them would be unstructured.)
(e) Unstructured: moving pictures and sound, with no fields.
(f) Structured: one row per student, the same columns for every day.
(g) Semi-structured: labelled fields (author, time, hashtags) around free text.
(h) Structured: every answer has a fixed field (name, phone, date), so it fits a table row.

(أ) : دەق و وێنەی ئازاد بێ ناوی . (هەواڵێکی ئۆنلاین کە ناونیشان، نووسەر و ڕێکەوتەکەی نیشانە کراون دەبێت.)
(ب) : هەمان بۆ هەموو یارییەک (تیمەکان، گۆڵەکان، ڕێکەوت).
(ج) : بەشەکان ناودەنێن (سەردێڕ، )، بەڵام هەر لاپەڕەیەک شێوەی خۆی هەیە.
(د) : و لە . (وێنەی تیشکی ئێکس کە لە تەنیشتیانەوە هەڵدەگیرێن دەبن.)
(هـ) : وێنەی جووڵاو و دەنگ، بێ هیچ .
(و) : بۆ هەر قوتابییەک و هەمان بۆ هەموو ڕۆژێک.
(ز) : ناونراو (نووسەر، کات، هاشتاگ) لە دەوری دەقی ئازاد.
(ح) : هەر وەڵامێک جێگیری هەیە (ناو، ژمارەی مۆبایل، ڕێکەوت)، بۆیە لە جێی دەبێتەوە.

NoSQL: “Not Only SQL”NoSQL: «تەنها SQL نا»

Definitionپێناسە

Databases that do not use the fixed tables of a . They use flexible (documents, key–value pairs, column families or graphs) and grow easily across many machines.

ئەو کە خشتە جێگیرەکانی بەکار ناهێنن. بەکار دەهێنن (بەڵگەنامە، جووتی کلیل و نرخ، خێزانی ستوون یان گراف) و بە ئاسانی بەسەر چەندین ئامێردا گەورە دەبن.

NoSQL (“Not Only SQL”) databases are designed to handle large volumes of unstructured and semi-structured data.

(«تەنها SQL نا») بۆ مامەڵەکردن لەگەڵ بڕێکی زۆری و دیزاین کراون.

Unlike relational databases, NoSQL databases do not depend on fixed schemas and tables. They use flexible , which make processing faster and growth easier. Their key characteristics:

بە پێچەوانەی ، پشت بە و نابەستن. بەکار دەهێنن، کە چارەسەرکردن خێراتر و گەورەبوون ئاسانتر دەکەن. تایبەتمەندییە سەرەکییەکانیان:

: no fixed table design to follow.
Scalability: grows by adding more machines ().
: keeps working when one machine fails.
Efficient big data handling: built for very large volumes.
: all copies agree in the end, not instantly.

: هیچ دیزاینێکی جێگیری نییە کە پەیڕەوی بکرێت.
: بە زیادکردنی ئامێری زیاتر گەورە دەبێت ().
: کاتێک ئامێرێک تێک دەچێت، هەر کار دەکات.
مامەڵەی کارا لەگەڵ : بۆ بڕی زۆر گەورە دروست کراوە.
: هەموو کۆپییەکان لە کۆتاییدا کۆک دەبن، نەک دەستبەجێ.

“Schema-less” really means a flexible schema«بێ‌سکیما» لە ڕاستیدا واتە سکیمایەکی نەرم

The data in a NoSQL database still has a shape; the database just does not force one shape on every record. The program that reads the data must know what to expect. MongoDB, for example, uses a flexible schema by default, but you can add schema validation rules (allowed fields, types and value ranges) when you need them.

ناو هێشتا شێوەیەکی هەیە؛ تەنها یەک شێوە بەسەر هەموو ناسەپێنێت. ، کە دەخوێنێتەوە، دەبێت بزانێت چاوەڕێی چی بکات. بۆ نموونە MongoDB بە شێوەی بنەڕەتی نەرم بەکار دەهێنێت، بەڵام کاتێک پێویستت بوو دەتوانیت ڕێسای پشکنینی زیاد بکەیت ( و جۆرە ڕێگەپێدراوەکان و سنووری بەهاکان).

SQL vs NoSQL | What's the Difference?Alex The Analyst · Englishئینگلیزی · 73K viewsبینین · 2.1K likesلایک · Partبەشی 2:28–3:35 (ofلە 5:55)
NoSQL means 'Not Only SQL': no fixed tables, room for unstructured and semi-structured data, scaling out on more machines, and four main types.
واتە «Not Only SQL» (نەک تەنها ): جێگیری نییە، جێی و دەبێتەوە، بە زیادکردنی ئامێر فراوان دەبێت () و چوار جۆری سەرەکیی هەیە.
Plays 2:28–3:35: what 'Not Only SQL' means, unstructured and semi-structured data, horizontal scaling, the four types, and the same data as a JSON-like document.
لە ⁦2:28⁩ تا ⁦3:35⁩ پەخش دەبێت: واتای «Not Only SQL»، و ، ، چوار جۆرەکە و هەمان بە شێوەیەکی نزیک لە .

NoSQL: “Not Only SQL”NoSQL: «تەنها SQL نا»

Eventual consistencyکۆکبوونی دواجار

Definitionپێناسە

A promise made by many databases: after a change, all copies of the data will agree, but not at the same instant; for a short time a copy may still show the old value.

بەڵێنێکە کە زۆرێک لە بنکەدراوەکانی دەیدەن: دوای گۆڕانکارییەک هەموو کۆپییەکانی دراوەکە کۆک دەبن، بەڵام نەک لە هەمان ساتدا؛ بۆ ماوەیەکی کورت لەوانەیە کۆپییەک هێشتا نرخە کۆنەکە پیشان بدات.

The new price of teaنرخی نوێی چا

A chain of shops in Erbil, Duhok and Sulaymaniyah changes the price of tea. The head office phones the branches one by one. For a few minutes a customer in Duhok may still pay the old price, but soon every branch has the new one. Eventual consistency works the same way: the copies of the data on different machines agree in the end, not at the same moment.

زنجیرەیەک دووکان لە هەولێر، دهۆک و سلێمانی نرخی چا دەگۆڕن. نووسینگەی سەرەکی یەک لە دوای یەک تەلەفۆن بۆ لقەکان دەکات. بۆ چەند خولەکێک لەوانەیە کڕیارێک لە دهۆک هێشتا نرخە کۆنەکە بدات، بەڵام زوو هەموو لقەکان نرخە نوێیەکەیان دەبێت. بە هەمان شێوە کار دەکات: کۆپییەکانی لەسەر ئامێرە جیاوازەکان لە کۆتاییدا کۆک دەبن، نەک لە هەمان ساتدا.

Where the analogy stops workingسنووری ئەم نموونەیە

In a database the delay is usually less than a second, not minutes, and many products let you ask for the newest value when it matters.

لە دواکەوتنەکە زۆرجار کەمترە لە چرکەیەک، نەک چەند خولەکێک و زۆرێک لە بەرهەمەکان ڕێگەت دەدەن کاتێک گرنگ بوو داوای نوێترین بەها بکەیت.

Correctionڕاستکردنەوە

The course lists eventual consistency as a characteristic of NoSQL. It is common, but today it is a choice, not a rule. Amazon DynamoDB, for example, gives eventually consistent reads by default, but a program can ask for a strongly consistent read (ConsistentRead), and DynamoDB global tables offer a multi-Region strong consistency mode.

کۆرسەکە وەک تایبەتمەندییەکی ڕیز دەکات. باوە، بەڵام ئەمڕۆ هەڵبژاردنە، نەک ڕێسا. بۆ نموونە ⁦Amazon DynamoDB⁩ بە شێوەی بنەڕەتی خوێندنەوەی «» دەدات، بەڵام دەتوانێت داوای خوێندنەوەیەکی بە تەواوی کۆک بکات (ConsistentRead) و DynamoDB شێوازێکی کۆکیی بەهێز لە نێوان چەند ناوچەیەکدا پێشکەش دەکەن.

Quick checkپشکنینی خێراHana changes her profile photo. For one second a friend in another city still sees the old photo; then the new one appears. What is this an example of?هانا وێنەی پرۆفایلەکەی دەگۆڕێت. بۆ چرکەیەک هاوڕێیەکی لە شارێکی تر هێشتا وێنە کۆنەکە دەبینێت؛ پاشان نوێیەکە دەردەکەوێت. ئەمە نموونەی چییە؟A deleted recordتۆمارێکی سڕاوەA backupباکئەپEventual consistencyکۆکبوونی دواجارA broken databaseبنکەدراوەیەکی تێکچوو

Four families, four jobsچوار خێزان، چوار کار

NoSQL is not one design but four main families. Each one stores data in a different shape:

یەک دیزاین نییە، بەڵکو چوار خێزانی سەرەکییە. هەر یەکەیان بە شێوەیەکی جیاواز هەڵدەگرێت:

The four NoSQL families store data in four different shapes.چوار خێزانەکەی بە چوار شێوەی جیاواز هەڵدەگرن.CêIT

The four NoSQL families (products checked in October 2026)چوار خێزانەکەی (بەرهەمەکان لە ئۆکتۆبەری ٢٠٢٦دا پشکنراون)
Familyخێزان	How it stores dataچۆن هەڵدەگرێت	Examplesنموونە	Best forباشترینە بۆ
	JSON or BSON documentsبەڵگەنامەی JSON یان BSON	MongoDB, Apache CouchDB	Content management systems, catalogs, user profiles، کاتالۆگ، پرۆفایلی
		Redis, Amazon DynamoDB	Caching, real-time analytics, session management، شیکاریی ڕاستەوخۆ، بەڕێوەبردنی
(wide-column) (ستوونی فراوان)	Rows grouped into partitions by key; each row has its own columns بەپێی لە بەشەکاندا کۆ دەکرێنەوە؛ هەر خۆی هەیە	Apache Cassandra, Apache HBase	High-velocity time-series data, analytics کاتیی خێرا،
	and (relationships) و (پەیوەندییەکان)	Neo4j, ArangoDB	Social networks, recommendation engines, fraud detection، سیستەمی پێشنیارکردن، دۆزینەوەی ساختەکاری

Quick checkپشکنینی خێراWhich list names the four NoSQL families?کام لیست ناوی چوار خێزانەکەی دەهێنێت؟Hierarchical, network, relational and object-orientedهەرەمی، تۆڕی، پەیوەندیدار و تەنخوازFull, incremental, differential and coldباکئەپی تەواو، باکئەپی هەنگاوبەهەنگاو، باکئەپی کەڵەکەبوو و باکئەپی ساردVolume, velocity, variety and valueقەبارە، خێرایی، جۆراوجۆری و بەهاDocument, key–value, column-family and graphبنکەدراوەی بەڵگەنامەیی، کۆگای کلیل و نرخ، کۆگای خێزانی ستوون و بنکەدراوەی گرافی

7 Database ParadigmsFireship · Englishئینگلیزی · 1.9M viewsبینین · 68K likesلایک · Partبەشی 0:45–4:05 (ofلە 9:52)
Quick tour of key–value, wide-column and document databases, with Redis, Cassandra and MongoDB, and the jobs each one does well.
گەشتێکی خێرا بە ، و بە نموونەی Redis، Cassandra و MongoDB. هەروەها دەڵێت هەریەکەیان بۆ چ کارێک باشە.
Plays 0:45–4:05: key–value, wide-column and document databases; stops before the relational part. Graph is on the next screens.
لە ⁦0:45⁩ تا ⁦4:05⁩ پەخش دەبێت: ، و ؛ پێش بەشی ڕادەوەستێت. لە شاشەکانی دواتردان.

Four families, four jobsچوار خێزان، چوار کار

Document databasesبنکەدراوە بەڵگەنامەییەکان

Definitionپێناسە

A database that stores each record as a document, usually in or BSON, with its own fields. It suits catalogues, user profiles and content management systems.

جۆرێکە لە بنکەدراوەی کە هەر تۆمارێک وەک بەڵگەنامەیەک هەڵدەگرێت، زۆرجار بە یان BSON، لەگەڵ ستوونەکانی خۆی. بۆ کاتالۆگ، پرۆفایلی بەکارهێنەر و گونجاوە.

A document database stores each record as a document, usually in JSON, or in BSON, MongoDB's binary form of JSON that adds types such as dates. A document can hold lists and smaller documents inside it, so one product with all its details can be read in one step, without joining tables.

هەر وەک بەڵگەنامەیەک هەڵدەگرێت، زۆرجار بە JSON، یان بە BSON کە شێوە دووانەییەکەی JSONـە لە MongoDB و جۆری وەک ڕێکەوتی بۆ زیاد دەکات. بەڵگەنامەیەک دەتوانێت لیست و بەڵگەنامەی بچووکتر لەناو خۆیدا هەڵبگرێت، بۆیە بەرهەمێک بە هەموو وردەکارییەکانییەوە لە یەک هەنگاودا دەخوێندرێتەوە، بەبێ .

One product in an online catalogیەک بەرهەم لە کاتالۆگێکی ئۆنلاینداJSON

{
  "_id": "p-1001",
  "name": "Tea glass set",
  "price": 18000,
  "colours": ["clear", "gold"],
  "supplier": { "name": "Soran Trading", "city": "Sulaymaniyah" }
}

Explain the codeڕوونکردنەوەی کۆدەکە

Lineدێڕی 4

A list inside the document.

لیستێک لەناو بەڵگەنامەکەدا.

Lineدێڕی 5

A smaller document inside the document. In a relational database the supplier would be a row in another table.

بەڵگەنامەیەکی بچووکتر لەناو بەڵگەنامەکەدا. لە دابینکەرەکە دەبووە لە تردا.

Best for: content management systems, product catalogs and user profiles, where every item can have different details. Examples: MongoDB and Apache CouchDB; in the cloud, Google Firestore and Azure Cosmos DB (Cloud Databases).

باشترینە بۆ: ، کاتالۆگی بەرهەم و پرۆفایلی ، کە تێیاندا هەر شتێک دەتوانێت وردەکاریی جیاوازی هەبێت. نموونە: MongoDB و ⁦Apache CouchDB⁩؛ لە هەوردا ⁦Google Firestore⁩ و ⁦Azure Cosmos DB⁩ (بنکەدراوە هەورییەکان).

Four families, four jobsچوار خێزان، چوار کار

Key–value storesکۆگاکانی کلیل و نرخ

Definitionپێناسە

The simplest database: it stores and finds a value very fast by its key. It suits caching and user sessions.

سادەترین جۆری بنکەدراوەی : هەڵدەگرێت و بە کلیلەکەی نرخێک زۆر بە خێرایی دەدۆزێتەوە. بۆ و بەکارهێنەران گونجاوە.

This is the simplest family. Every value is saved under a unique key, like a word and its meaning in a dictionary. You can only ask “give me the value of this key”, but the answer comes back extremely fast.

ئەمە سادەترین خێزانە. هەر بەهایەک لەژێر تایبەتدا پاشەکەوت دەکرێت، وەک وشەیەک و واتاکەی لە فەرهەنگێکدا. تەنها دەتوانیت بڵێیت «بەهای ئەم کلیلەم بدەرێ»، بەڵام وەڵامەکە زۆر بە خێرایی دەگەڕێتەوە.

Three key–value pairsسێ جووتی کلیل و نرخTEXT

session:8f3a2c   ->  {"user": "aram", "cart": 3}
price:tea        ->  1500
visits:home      ->  48210

Best for: caching (keeping a ready answer close at hand), real-time counters and analytics, and session management. A website can keep its sessions in a key–value store, so any of its servers can read them. Examples: Redis, an in-memory data store, and Amazon DynamoDB, a managed cloud service.

باشترینە بۆ: (هەڵگرتنی وەڵامێکی ئامادە لە نزیکەوە)، ژمێرەر و شیکاریی ڕاستەوخۆ و بەڕێوەبردنی . دەتوانێت سێشنەکانی خۆی لە هەڵبگرێت، تا هەر کام لە بتوانێت بیانخوێنێتەوە. نموونە: Redis، کە لە هەڵدەگرێت و ⁦Amazon DynamoDB⁩، کە خزمەتگوزارییەکی هەوریی بەڕێوەبراوە.

Quick checkپشکنینی خێراA website wants to keep each visitor's session data and read it in less than a millisecond. Which family fits best? دەیەوێت هەر سەردانکەرێک هەڵبگرێت و لە کەمتر لە میلیچرکەیەکدا بیخوێنێتەوە. کام خێزان باشترین گونجانی هەیە؟Graph databaseبنکەدراوەی گرافیData warehouseکۆگای دراوەA printed reportڕاپۆرتێکی چاپکراوKey–value storeکۆگای کلیل و نرخ

Four families, four jobsچوار خێزان، چوار کار

Column-family (wide-column) storesکۆگاکانی خێزانی ستوون (ستوونی فراوان)

Column-family stores, also called wide-column stores, are built to write huge amounts of data across many machines. Apache Cassandra describes its design as a “partitioned wide-column storage model”. In practice:

، کە پێیان دەوترێت «ستوونی فراوان»یش، بۆ نووسینی بڕێکی زۆر گەورەی بەسەر چەندین ئامێردا دروست کراون. ⁦Apache Cassandra⁩ دیزاینەکەی خۆی بە «مۆدێلی هەڵگرتنی ستوونی فراوانی دابەشکراو بۆ بەش» وەسف دەکات. لە پراکتیکدا:

Data is kept in tables of rows, and each row has a .
The first part of the key, the partition key, decides which machine stores the row.
The rest of the key (the clustering columns) keeps the rows of one partition sorted, for example by time.
Each row can have its own set of columns, and a row can have very many columns.

لە پێکهاتوو لە هەڵدەگیرێت و هەر هەیە.
بەشی یەکەمی کلیلەکە، کلیلی بەش (partition key)، بڕیار دەدات کام ئامێر هەڵدەگرێت.
بەشەکەی تری کلیلەکە (clustering columns) یەک بەش ڕیز کراو ڕادەگرێت، بۆ نموونە بەپێی کات.
هەر دەتوانێت کۆمەڵە تایبەتی خۆی هەبێت و دەتوانێت زۆر زۆری هەبێت.

Sensor readings: partition key sensor_id, sorted by reading_timeخوێندنەوەکانی : کلیلی بەش ⁦sensor_id⁩، ڕیزکراو بەپێی ⁦reading_time⁩
`sensor_id`	`reading_time`	`temperature`	`humidity`
`erbil-07`	`10:00:00`	`21.5`	`40`
`erbil-07`	`10:00:10`	`21.6`	`40`
`erbil-07`	`10:00:20`	`21.6`	`41`
`duhok-02`	`10:00:00`	`18.9`	(no humidity sensor)( نییە)

Not “columns instead of rows”نەک «ستوون لە جیاتی ڕیز»

The course says that column-family stores keep “data in columns instead of rows”. That is not right. Cassandra and HBase store rows, grouped into partitions by key. Storing each column separately is a different idea called columnar storage: analytic data warehouses such as Google BigQuery use it, because an analytic query usually reads only a few columns of a very large table. The names sound alike, but the designs are different.

کۆرسەکە دەڵێت « لە هەڵدەگرن لە جیاتی ». ئەمە دروست نییە. Cassandra و HBase هەڵدەگرن، کە بەپێی کلیل لە بەشەکاندا کۆ کراونەتەوە. هەڵگرتنی هەر بە جیا بیرۆکەیەکی ترە کە پێی دەوترێت هەڵگرتنی ستوونی (columnar storage): شیکارییەکانی وەک ⁦Google BigQuery⁩ بەکاری دەهێنن، چونکە شیکاری زۆرجار تەنها چەند زۆر گەورە دەخوێنێتەوە. ناوەکان لە یەک دەچن، بەڵام دیزاینەکان جیاوازن.

Best for: high-velocity time-series data (sensor readings, logs, clicks) and analytics over it. Examples: Apache Cassandra and Apache HBase.

باشترینە بۆ: کاتیی خێرا (خوێندنەوەی ، ، کلیکەکان) و لەسەری. نموونە: ⁦Apache Cassandra⁩ و ⁦Apache HBase⁩.

Four families, four jobsچوار خێزان، چوار کار

Graph databasesبنکەدراوە گرافییەکان

Definitionپێناسە

A database that stores data as (things) and (the relationships between them), so it can follow links quickly. It suits social networks, recommendations and fraud detection.

جۆرێکە لە بنکەدراوەی کە دراوە وەک (شتەکان) و (پەیوەندییەکانی نێوانیان) هەڵدەگرێت، بۆیە دەتوانێت بە خێرایی بەدوای بەستنەوەکاندا بڕوات. بۆ ، پێشنیارکردن و دۆزینەوەی فێڵ گونجاوە.

A graph database stores (things, such as people or products) and (the relationships between them, such as FRIEND_OF or BOUGHT). Both nodes and relationships can carry properties, for example the date of a purchase. Following a chain of relationships, such as friends of friends or people who bought the same thing, is fast. In a relational database the same question needs many joins. On the web, linked data such as DBpedia publishes facts as connections of this kind, and the query language SPARQL searches them.

(شتەکان، وەک کەس یان بەرهەم) و (پەیوەندییەکانی نێوانیان، وەک ⁦FRIEND_OF⁩ یان BOUGHT) هەڵدەگرێت. هەم و هەم پەیوەندییەکان دەتوانن تایبەتمەندییان هەبێت، بۆ نموونە ڕێکەوتی کڕینێک. شوێنکەوتنی زنجیرەیەک پەیوەندی، وەک هاوڕێی هاوڕێکان یان ئەو کەسانەی هەمان شتیان کڕیوە، خێرایە. لە هەمان پرسیار پێویستی بە زۆر هەیە. لە ، بەستراوەی وەک DBpedia ڕاستییەکان بەم جۆرە پەیوەندییانە بڵاو دەکاتەوە و زمانی SPARQL بەدوایاندا دەگەڕێت.

A tiny graphگرافێکی بچووکTEXT

(Aram) -[:FRIEND_OF]-> (Shilan) -[:BOUGHT {date: 2026-10-01}]-> (Tea glass set)

Best for: social networks, recommendation engines (“people who bought this also bought…”) and fraud detection, for example finding a ring of accounts that share the same phone numbers and addresses. Examples: Neo4j and ArangoDB.

باشترینە بۆ: ، سیستەمی پێشنیارکردن («ئەوانەی ئەمەیان کڕیوە ئەمەشیان کڕیوە…») و دۆزینەوەی ساختەکاری، بۆ نموونە دۆزینەوەی ئەڵقەیەک هەژمار کە هەمان ژمارە تەلەفۆن و ناونیشانیان هەیە. نموونە: ⁦Neo4j⁩ و ArangoDB.

Quick checkپشکنینی خێراA bank wants to find groups of accounts that share phone numbers and addresses, to catch fraud rings. Which family fits best?بانکێک دەیەوێت ئەو کۆمەڵە هەژمارانە بدۆزێتەوە کە ژمارە تەلەفۆن و ناونیشانیان هاوبەشە، بۆ گرتنی ئەڵقەکانی ساختەکاری. کام خێزان باشترین گونجانی هەیە؟Column-family storeکۆگای خێزانی ستوونDocument databaseبنکەدراوەی بەڵگەنامەییKey–value storeکۆگای کلیل و نرخGraph databaseبنکەدراوەی گرافی

Four families, four jobsچوار خێزان، چوار کار

How to choose a familyچۆن خێزانێک هەڵبژێریت

ExerciseڕاهێنانMatch the job to the familyکارەکە بە خێزانەکەوە ببەستەوە

Choose a NoSQL family for each job and say why. (a) An online shop whose products all have different details (sizes for clothes, voltage for lamps). (b) A game that shows each player's score and must update it thousands of times a second. (c) A city that stores a reading from 50,000 smart meters every 15 seconds. (d) A social app that suggests “people you may know”.

بۆ هەر کارێک خێزانێکی هەڵبژێرە و بڵێ بۆچی. (أ) فرۆشگایەکی ئۆنلاین کە هەموو بەرهەمەکانی وردەکاریی جیاوازیان هەیە (قەبارە بۆ جل، ڤۆڵتیە بۆ گڵۆپ). (ب) یارییەک کە خاڵی هەر یاریزانێک پیشان دەدات و دەبێت لە چرکەیەکدا هەزاران جار نوێی بکاتەوە. (ج) شارێک کە هەموو ١٥ چرکە جارێک خوێندنەوەیەک لە ٥٠٬٠٠٠ پێوەری زیرەک هەڵدەگرێت. (د) کۆمەڵایەتی کە «ئەو کەسانەی لەوانەیە بیانناسیت» پێشنیار دەکات.

Show answerوەڵامەکە پیشان بدە

(a) Document database (for example MongoDB): each product is one document with its own fields.
(b) Key–value store (for example Redis): key = player, value = score; very fast reads and writes.
(c) Column-family store (for example Cassandra): huge, fast time-series writes, partitioned by meter.
(d) Graph database (for example Neo4j): “friends of friends” is a walk along edges.

(أ) (بۆ نموونە MongoDB): هەر بەرهەمێک یەک بەڵگەنامەیە بە خۆیەوە.
(ب) (بۆ نموونە Redis): کلیل = یاریزان، بەها = خاڵ؛ خوێندنەوە و نووسینی زۆر خێرا.
(ج) (بۆ نموونە Cassandra): نووسینی زۆر و خێرای کاتی، کە بەپێی پێوەر دابەش کراوە.
(د) (بۆ نموونە ⁦Neo4j⁩): «هاوڕێی هاوڕێکان» ڕۆیشتنە بە درێژایی .

What you gain, and what you give upچی بەدەست دەهێنیت و چی لەدەست دەدەیت

What you gain

ئەوەی بەدەستی دەهێنیت

High performance and availability
Handles a wide variety of data types
Easier to scale than relational databases
Optimized for modern and the (IoT)

کارایی و بەرز
مامەڵە لەگەڵ جۆرێکی زۆری دەکات
فراوانکردنی ئاسانترە لە
بۆ ئەمڕۆ و ⁦(IoT)⁩ باشتر کراوە

What you give up

ئەوەی لەدەستی دەدەیت

Lack of standardization: each product has its own way of querying
Weaker support for complex queries (such as joins) and transactions
Requires additional knowledge to design and use well

نەبوونی ستاندارد: هەر بەرهەمێک ڕێگای خۆی بۆ هەیە
پشتگیریی لاوازتر بۆ (وەک ) و
زانیاریی زیاتری پێویستە بۆ دیزاین و بەکارهێنانی باش

Transactions depend on the productمامەڵەکان بەستراوەتەوە بە بەرهەمەکەوە

“Weaker support for transactions” was true of early NoSQL products, but today it depends on the product. MongoDB, for example, supports ACID transactions across several documents on replica sets (feature compatibility version 4.0 and later) and on sharded clusters (4.2 and later). What transactions and ACID mean is explained in Transactions and ACID.

«پشتگیریی لاوازتر بۆ » بۆ بەرهەمە سەرەتاییەکانی ڕاست بوو، بەڵام ئەمڕۆ بەستراوەتەوە بە بەرهەمەکەوە. بۆ نموونە MongoDB پشتگیریی ACID دەکات بەسەر چەند بەڵگەنامەیەکدا، لەسەر replica sets (وەشانی گونجانی تایبەتمەندی ⁦4.0⁩ و دواتر) و لەسەر sharded clusters (⁦4.2⁩ و دواتر). و ACID واتایان چییە لە مامەڵەکان و ACID ڕوون کراوەتەوە.

NoSQL does not replace SQLNoSQL جێی SQL ناگرێتەوە

Relational databases are still the best choice when the data is structured and the rules must never be broken, a bank ledger for example. Many systems use both: a relational database for orders and money, and a NoSQL store for sessions or the product catalog.

هێشتا باشترین هەڵبژاردەن کاتێک ڕێکخراوە و ڕێساکان هەرگیز نابێت بشکێنرێن، بۆ نموونە دەفتەری حسابی بانکێک. زۆر سیستەم هەردووکیان بەکار دەهێنن: بۆ داواکاریی کڕین و پارە و کۆگایەکی بۆ یان کاتالۆگی بەرهەمەکان.

Quick checkپشکنینی خێراWhich job is still best done by a relational database?کام کار هێشتا باشترین ئەنجامی دەدات؟“People you may know” suggestionsپێشنیاری «ئەو کەسانەی لەوانەیە بیانناسیت»Caching web pagesکاشی لاپەڕەکانی وێبA bank's ledger of accounts and paymentsدەفتەری حسابی بانکێک بۆ هەژمار و پارەدانەکانStoring billions of sensor readingsهەڵگرتنی ملیارەها خوێندنەوەی هەستەوەر

Big data: the 3Vs and beyondدراوەی گەورە: سێ Vـەکە و زیاتر

Definitionپێناسە

Collections of data so large, fast-growing or varied that ordinary tools cannot store or process them. Companies analyse big data to find trends, for example in shopping or traffic.

کۆمەڵە دراوەیەکی ئەوەندە گەورە، خێراگەشە یان جۆراوجۆرە کە ئامرازی ئاسایی ناتوانن هەڵیبگرن یان کاری لەسەر بکەن. کۆمپانیاکان دراوەی گەورە شی دەکەنەوە بۆ دۆزینەوەی ڕەوتەکان، بۆ نموونە لە بازاڕکردن یان هاتوچۆدا.

Big data means extremely large and complex datasets that traditional databases cannot process efficiently. It is described by the 3Vs.

واتە زۆر گەورە و ئاڵۆز کە ناتوانن بە کارایی چارەسەریان بکەن. بە سێ Vـەکە وەسف دەکرێت.

: massive amounts of data, generated every second. Example: a social network stores billions of messages and photos.
: data is generated and must be processed at high speed. Example: a card payment must be checked within a fraction of a second.
: structured, semi-structured and unstructured data together. Example: a hospital has tables of test results, doctors' notes and scan images.

⁦(Volume)⁩: بڕێکی زۆر گەورەی کە هەموو چرکەیەک دروست دەبێت. نموونە: ملیارەها نامە و وێنە هەڵدەگرێت.
⁦(Velocity)⁩: بە خێرایی بەرز دروست دەبێت و دەبێت بە خێرایی چارەسەر بکرێت. نموونە: پارەدانێک بە کارت دەبێت لە بەشێکی چرکەیەکدا بپشکنرێت.
⁦(Variety)⁩: ، و پێکەوە. نموونە: نەخۆشخانەیەک خشتەی ئەنجامی پشکنین، تێبینیی پزیشکەکان و وێنەی سکان هەیە.

Going furtherزانیاری زیاتر

The US standards institute NIST defines big data by volume, variety, velocity and/or variability (how the data changes over time), and adds that it needs a scalable architecture to store and analyse it. Books list 3, 4, 5 or even more Vs; the first three are the ones everyone agrees on. The English words are practised in Technical English: Emerging technologies.

NIST، دەزگای ستانداردی ئەمریکا، بە قەبارە، جۆراوجۆری، خێرایی و/یان گۆڕاوی (چۆن بە تێپەڕبوونی کات دەگۆڕێت) پێناسە دەکات و دەڵێت پێویستی بە تەلارسازییەکی فراوانبوو هەیە بۆ هەڵگرتن و شیکردنەوەی. کتێبەکان ٣، ٤، ٥ یان زیاتر V دەژمێرن؛ سێ یەکەمەکە ئەوانەن کە هەمووان لەسەری کۆکن. وشە ئینگلیزییەکان لە ئینگلیزیی تەکنیکی: تەکنەلۆژیا نوێکان ڕاهێنانیان لەسەر دەکرێت.

Tools for big dataئامرازەکانی دراوەی گەورە

Four families of tools handle big data: the Hadoop ecosystem, Apache Spark, NoSQL databases and streaming tools. The next screens explain them one by one.

چوار خێزان ئامراز مامەڵە لەگەڵ دەکەن: ژینگەی Hadoop، ⁦Apache Spark⁩، و ئامرازەکانی . شاشەکانی داهاتوو یەک یەک ڕوونیان دەکەنەوە.

Why many machines? 'Too big' is not a fixed number of terabytes: it means the data no longer fits in one computer's memory (RAM). Then there are three answers: read it from disk one block at a time; read it once as a stream and keep only a summary, such as a news site counting its visitors each minute; or spread it over many machines, as the tools below do. Disk speed shows why the third answer wins:

بۆچی چەندین ئامێر؟ «زۆر گەورە» ژمارەیەکی جێگیری نییە: واتە ئیتر لە یەک جێی نابێتەوە. ئەوکات سێ وەڵام هەیە: بلۆک بە بلۆک لە دیسکەوە بیخوێنەرەوە؛ بە یەک جار بیخوێنەرەوە و تەنها کورتەیەک بهێڵەرەوە، وەک ماڵپەڕێکی هەواڵ کە ژمارەی سەردانکەرانی هەر خولەکێک دەژمێرێت؛ یان بەسەر چەندین ئامێردا دابەشی بکە، وەک ئامرازەکانی خوارەوە دەیکەن. خێرایی دیسک پیشان دەدات بۆچی وەڵامی سێیەم دەباتەوە:

\frac{20 \times 10^{15}\ \text{B}}{50 \times 10^{6}\ \text{B/s}} = 4 \times 10^{8}\ \text{s}

Quick checkپشکنینی خێراA news site wants the number of visitors in each minute, but it cannot keep every click. Which approach fits?ماڵپەڕێکی هەواڵ ژمارەی سەردانکەرانی هەر خولەکێکی دەوێت، بەڵام ناتوانێت هەموو کرتەیەک هەڵبگرێت. کام ڕێگا گونجاوە؟Buy one computer with more memoryیەک کۆمپیوتەر بە RAMـی زیاترەوە بکڕدرێتLoad every click into one relational table firstسەرەتا هەموو کرتەیەک بخرێتە یەک خشتەیەکی پەیوەندیدارProcess the clicks as a stream and keep only the countsکرتەکان بە چارەسەرکردنی تەوژمی دراوە چارەسەر بکرێن و تەنها ژمارەکان بمێننەوە

Tools for big dataئامرازەکانی دراوەی گەورە

Hadoop: one job, many machinesHadoop: یەک کار، چەندین ئامێر

Definitionپێناسە

A free, open-source framework from Apache that stores very large files across many ordinary computers (HDFS) and processes them in parallel with . It is used for of .

بەخۆڕایی و Apacheـە کە فایلی زۆر گەورە بەسەر چەندین کۆمپیوتەری ئاساییدا هەڵدەگرێت ⁦(HDFS)⁩ و بە بە هاوتەریبی چارەسەریان دەکات. بۆ چارەسەرکردنی بە شێوەی کۆمەڵەیی () بەکار دێت.

Apache Hadoop provides distributed storage and processing. It stores files with HDFS (Hadoop Distributed File System) and processes them with MapReduce. It is suited to large-scale batch processing: jobs that run over data that has already been collected.

⁦Apache Hadoop⁩ هەڵگرتن و چارەسەرکردنی دابەشکراو دابین دەکات. بە HDFS ( Hadoop) هەڵدەگرێت و بە MapReduce چارەسەریان دەکات. بۆ لە ئاستی گەورەدا گونجاوە: ئەو کارانەی لەسەر دەکرێن کە پێشتر کۆ کراوەتەوە.

Hadoop In 5 Minutes | What Is Hadoop? | Introduction To Hadoop | Hadoop Explained |SimplilearnSimplilearn · Englishئینگلیزی · 1.6M viewsبینین · 42K likesلایک · Partبەشی 0:00–5:31 (ofلە 6:21)
How Hadoop stores big data across many machines with HDFS, processes it with MapReduce and shares the cluster with YARN.
چۆن بە HDFS لەسەر چەندین ئامێر خەزن دەکات، بە کاری لەسەر دەکات و بە YARN توانای ئامێرەکان لە نێوان کارەکاندا دابەش دەکات.
Plays 0:00–5:31: big data, then HDFS, MapReduce, YARN and the Hadoop ecosystem; stops before the quiz.
لە ⁦0:00⁩ تا ⁦5:31⁩ پەخش دەبێت: ، پاشان HDFS، ، YARN و ئامرازەکانی دەوروبەری ؛ پێش پرسیارەکانی کۆتایی ڕادەوەستێت.

Tools for big dataئامرازەکانی دراوەی گەورە

How MapReduce worksMapReduce چۆن کار دەکات

The input is split into chunks, and many machines process the chunks at the same time. The map step turns each chunk into small (key, value) results. The framework then shuffles and sorts them, so all results with the same key meet. The reduce step combines the values of each key, for example by adding them up.

دابەش دەکرێت بۆ چەند پارچەیەک و چەندین ئامێر لە هەمان کاتدا پارچەکان چارەسەر دەکەن. هەنگاوی map هەر پارچەیەک دەکات بە ئەنجامی بچووکی (کلیل، بەها). پاشان چوارچێوەکە تێکەڵ و ڕیزیان دەکات، تا هەموو ئەنجامەکانی هەمان کلیل بگەنە یەک. هەنگاوی reduce بەهاکانی هەر کلیلێک کۆ دەکاتەوە، بۆ نموونە بە کۆکردنەوەیان.

Map works on every chunk at the same time; reduce adds up the results for each key.map لە هەمان کاتدا کار لەسەر هەموو پارچەکان دەکات؛ reduce ئەنجامەکانی هەر کلیلێک کۆ دەکاتەوە.CêIT

Counting the votesژماردنی دەنگەکان

On election day every polling station counts its own ballots at the same time (map). The results are then sent on and grouped by candidate (shuffle). Finally the central office adds up each candidate's numbers (reduce). Nobody has to count every ballot in the country alone.

لە ڕۆژی هەڵبژاردندا هەموو بنکەیەکی دەنگدان لە هەمان کاتدا دەنگەکانی خۆی دەژمێرێت ⁦(map)⁩. پاشان ئەنجامەکان دەنێردرێن و بەپێی کاندید کۆ دەکرێنەوە ⁦(shuffle)⁩. لە کۆتاییدا نووسینگەی ناوەندی ژمارەکانی هەر کاندیدێک کۆ دەکاتەوە ⁦(reduce)⁩. کەس پێویست ناکات بە تەنها هەموو دەنگەکانی وڵات بژمێرێت.

Where the analogy stops workingسنووری ئەم نموونەیە

Unlike a polling station that loses its ballots, a machine that fails is not a disaster in MapReduce: the framework simply runs its task again on another machine. This is .

بە پێچەوانەی بنکەیەکی دەنگدان کە دەنگەکانی ون بکات، لە MapReduce تێکچوونی ئامێرێک کارەسات نییە: چوارچێوەکە بە سادەیی کارەکەی لەسەر ئامێرێکی تر دووبارە جێبەجێ دەکاتەوە. ئەمە .

Quick checkپشکنینی خێراIn MapReduce, what does the reduce step do?لە MapReduce، هەنگاوی reduce چی دەکات؟It combines (for example adds up) all the values that have the same key.هەموو ئەو بەهایانەی هەمان کلیلیان هەیە پێکەوە دەبەستێت (بۆ نموونە کۆیان دەکاتەوە).It deletes duplicate files.فایلە دووبارەکان دەسڕێتەوە.It splits the input into chunks.نێوخستەکە دابەش دەکات بۆ پارچە.It backs up the cluster.باکئەپ لە کڵەستەرەکە دەگرێت.

Tools for big dataئامرازەکانی دراوەی گەورە

Apache Spark: faster, in memory⁦Apache Spark⁩: خێراتر، لە بیرگەدا

Apache Spark is faster than Hadoop MapReduce, mainly because it keeps data in memory between steps instead of writing it to disk each time. It runs batch jobs, can also process data as it arrives, and is used for and .

⁦Apache Spark⁩ لە MapReduceـی Hadoop خێراترە، بە تایبەتی چونکە لە نێوان هەنگاوەکاندا لە دەهێڵێتەوە لە جیاتی ئەوەی هەموو جارێک لەسەر دیسک بینووسێت. کاری کۆمەڵەیی جێبەجێ دەکات، دەتوانێت لە کاتی هاتنیدا چارەسەر بکات و بۆ و بەکار دێت.

Spark in 2026Spark لە ٢٠٢٦دا

The course says Spark is “faster than Hadoop” and “uses RDDs”. More exactly: Spark is faster than Hadoop's MapReduce step, and it often runs on Hadoop, using YARN and HDFS, rather than replacing the whole ecosystem. RDDs (Resilient Distributed Datasets, which Spark can rebuild after a failure) were Spark's main interface before Spark 2.0. Since then the main interface is the Dataset/DataFrame, which the Spark documentation recommends because it performs better; RDDs are still supported.

کۆرسەکە دەڵێت Spark «لە Hadoop خێراترە» و «RDD بەکار دەهێنێت». بە وردی: Spark لە هەنگاوی MapReduceـی Hadoop خێراترە و زۆرجار لەسەر Hadoop کار دەکات، بە بەکارهێنانی YARN و HDFS، نەک جێی هەموو ژینگەکە بگرێتەوە. RDD (Resilient Distributed Datasets، کە Spark دەتوانێت دوای تێکچوون دروستیان بکاتەوە) پێش ⁦Spark 2.0⁩ ڕووکاری سەرەکیی Spark بوون. لەو کاتەوە ڕووکاری سەرەکی ⁦Dataset/DataFrame⁩ـە، کە ڕێبەری Spark پێشنیاری دەکات چونکە کارایی باشترە؛ RDD هێشتا پشتگیری دەکرێن.

Tools for big dataئامرازەکانی دراوەی گەورە

NoSQL and streaming toolsNoSQL و ئامرازەکانی چارەسەرکردنی تەوژمی دراوە

NoSQL databases such as Cassandra and MongoDB are widely used to store and read big data. They support distributed architectures (data spread over many machines) and real-time querying.

وەک Cassandra و MongoDB بە فراوانی بۆ هەڵگرتن و خوێندنەوەی بەکار دێن. پشتگیریی تەلارسازیی دابەشکراو ( بەسەر چەندین ئامێردا بڵاو کراوەتەوە) و ڕاستەوخۆ دەکەن.

Streaming tools process data while it flows: Apache Kafka, Apache Flink and Apache Storm. They are used in applications such as fraud detection and social media monitoring. Kafka is mainly an event-streaming platform: programs publish and subscribe to streams of events, Kafka stores the streams safely for as long as needed, and the events can be processed as they happen or later.

ئامرازەکانی لە کاتی ڕۆیشتنیدا چارەسەر دەکەن: ⁦Apache Kafka⁩، ⁦Apache Flink⁩ و ⁦Apache Storm⁩. لە بەرنامەی وەک دۆزینەوەی ساختەکاری و چاودێریی بەکار دێن. Kafka بە تایبەتی سەکۆیەکی تەوژمی ڕووداوە: تەوژمی ڕووداوەکان بڵاو دەکەنەوە و بەشداری تێیاندا دەکەن، Kafka تەوژمەکان بە سەلامەتی هەڵدەگرێت بۆ ئەو ماوەیەی پێویستە و ڕووداوەکان دەتوانرێت لە کاتی ڕوودانیاندا یان دواتر چارەسەر بکرێن.

Batch or real time?کۆمەڵەیی یان ڕاستەوخۆ؟

The course's tip says: “Hadoop works on data that has already been collected. Spark and Kafka work on data as it arrives.” That is too simple. MapReduce is for batch jobs; Spark does both batch and streaming; Kafka moves and stores streams of events, and stream processors (Kafka Streams, Flink, Spark) work on them as they arrive.

ئامۆژگارییەکەی کۆرسەکە دەڵێت: «Hadoop کار لەسەر دەکات کە پێشتر کۆ کراوەتەوە. Spark و Kafka کار لەسەر دەکەن لە کاتی هاتنیدا.» ئەمە زۆر سادە کراوەتەوە. MapReduce بۆ کاری کۆمەڵەییە؛ Spark هەردووکیان دەکات، کۆمەڵەیی و تەوژمی؛ Kafka تەوژمی ڕووداوەکان دەگوازێتەوە و هەڵیان دەگرێت و چارەسەرکەرەکانی تەوژم (⁦Kafka Streams⁩، Flink، Spark) لە کاتی هاتنیاندا کاریان لەسەر دەکەن.

Quick checkپشکنینی خێراA bank must flag a suspicious card payment within a second of it happening. Which kind of tool is built for that?بانکێک دەبێت لە ماوەی چرکەیەکدا دوای ڕوودانی پارەدانێکی گوماناوی بە کارت، نیشانەی لێ بدات. کام جۆرە ئامراز بۆ ئەمە دروست کراوە؟A full backupباکئەپی تەواوA MapReduce batch job that runs every nightکارێکی کۆمەڵەیی MapReduce کە هەموو شەوێک جێبەجێ دەبێتA data warehouse report next monthڕاپۆرتێکی کۆگای دراوە لە مانگی داهاتووداA streaming tool, such as Kafka with a stream processorئامرازێکی چارەسەرکردنی تەوژمی دراوە، وەک Kafka لەگەڵ چارەسەرکەرێکی تەوژم

Where big data is usedدراوەی گەورە لە کوێ بەکار دێت

: extracting insights from customer behaviour, for example which products sell together.
Healthcare: analysing patient records to predict disease.
IoT and smart devices: handling real-time data from .
Financial fraud detection: finding unusual patterns in transactions.

: دەرهێنانی تێگەیشتن لە ڕەفتاری کڕیاران، بۆ نموونە کام بەرهەمانە پێکەوە دەفرۆشرێن.
تەندروستی: شیکردنەوەی نەخۆشەکان بۆ پێشبینیکردنی نەخۆشی.
و ئامێرە زیرەکەکان: مامەڵەکردن لەگەڵ ڕاستەوخۆی .
دۆزینەوەی ساختەکاریی دارایی: دۆزینەوەی شێوازی نائاسایی لە .

Quick checkپشکنینی خێراEvery house in a city has a smart electricity meter that sends a reading every 15 seconds. Which two Vs are the biggest challenge?هەموو ماڵێکی شارێک پێوەرێکی زیرەکی کارەبای هەیە کە هەموو ١٥ چرکە جارێک خوێندنەوەیەک دەنێرێت. کام دوو V گەورەترین ئاستەنگن؟None: this is small dataهیچیان: ئەمە دراوەیەکی بچووکەVolume and velocityقەبارە و خێراییVeracity onlyتەنها متمانەپێکراویVariety and valueجۆراوجۆری و بەها

Common mistakesهەڵە باوەکان

Mistakeهەڵە	What is trueڕاستییەکە چییە
“NoSQL means no SQL at all.”« واتە هیچ SQL نییە.»	It means Not Only SQL. Many NoSQL products have SQL-like languages, such as Cassandra's CQL.واتە «تەنها SQL نا». زۆرێک لە بەرهەمەکانی زمانی وەک SQLـیان هەیە، وەک CQLـی Cassandra.
“NoSQL data has no structure at all.”« هیچ پێکهاتەیەکی نییە.»	The schema is flexible, not absent; the program must still know the data's shape. نەرمە، نەک نەبوو؛ هێشتا دەبێت شێوەی بزانێت.
“Column-family stores keep columns instead of rows.”« لە جیاتی هەڵدەگرن.»	They keep rows grouped into partitions by key. Columnar storage is a data-warehouse idea. هەڵدەگرن کە بەپێی کلیل لە بەشەکاندا کۆ کراونەتەوە. هەڵگرتنی ستوونی بیرۆکەیەکی .
“NoSQL databases never support transactions.”« هەرگیز پشتگیریی ناکەن.»	It depends on the product; MongoDB, for example, has multi-document ACID transactions.بەستراوەتەوە بە بەرهەمەکەوە؛ بۆ نموونە MongoDB ACID بۆ چەند بەڵگەنامەیەک هەیە.
“Big data just means one very big file.”« تەنها واتە زۆر گەورە.»	Big data is about volume, velocity and variety together. دەربارەی ، و پێکەوە.
“Spark replaced Hadoop.”«Spark جێی Hadoopـی گرتەوە.»	Spark mostly replaces MapReduce, and it often runs on Hadoop's YARN and HDFS.Spark زیاتر جێی MapReduce دەگرێتەوە و زۆرجار لەسەر YARN و HDFSـی Hadoop کار دەکات.
“Use NoSQL because it is modern.”« بەکار بهێنە چونکە نوێیە.»	Choose by the shape of the data and the most common question; a ledger still needs a relational database.بەپێی شێوەی و باوترین پرسیار هەڵبژێرە؛ دەفتەری حساب هێشتا پێویستی بە هەیە.

Quick checkپشکنینی خێرا

Try to answer each question in your own words before you read the answer.

هەوڵ بدە پێش خوێندنەوەی وەڵامەکە بە وشەی خۆت وەڵامی هەر پرسیارێک بدەیتەوە.

Review questionsپرسیارەکانی پێداچوونەوە

What does NoSQL stand for?NoSQL کورتکراوەی چییە؟

“Not Only SQL”: flexible data models instead of fixed schemas.

«Not Only SQL» (تەنها SQL نا): لە جیاتی .

Name the four types of NoSQL database.ناوی چوار جۆرەکەی NoSQL بهێنە.

Document-oriented, key–value, column-family (wide-column) and graph.

، ، (ستوونی فراوان) و .

What are the 3Vs of big data?سێ Vـەکەی دراوەی گەورە چین؟

Volume, velocity and variety. Veracity and value are often added.

، و . و زۆرجار زیاد دەکرێن.

What does a column-family store really store, and how is that different from columnar storage?کۆگای خێزانی ستوون بە ڕاستی چی هەڵدەگرێت و ئەمە چ جیاوازییەکی لەگەڵ هەڵگرتنی ستوونی هەیە؟

Rows, grouped into partitions by a partition key, each row with its own columns. Columnar storage keeps each column separately; data warehouses use it for analysis.

، کە بەپێی کلیلی بەش لە بەشەکاندا کۆ کراونەتەوە و هەر خۆی هەیە. هەڵگرتنی ستوونی هەر بە جیا هەڵدەگرێت؛ بۆ شیکاری بەکاری دەهێنن.

Summaryپوختە

Data can be structured (rows and columns), semi-structured (JSON, XML) or unstructured (photos, video).
NoSQL = Not Only SQL: flexible schemas, scaling by adding machines, high availability, and often eventual consistency.
Four families: document (MongoDB), key–value (Redis, DynamoDB), column-family (Cassandra, HBase) and graph (Neo4j).
NoSQL does not replace SQL: strict, structured data such as a bank ledger still belongs in a relational database.
Big data = volume, velocity and variety (plus veracity and value).
Tools: Hadoop (HDFS, YARN, MapReduce) for batch work, Spark for fast batch and streaming, Kafka and other streaming tools for data as it flows.

دەتوانێت ( و )، (JSON، XML) یان (وێنە، ڤیدیۆ) بێت.
= تەنها SQL نا: ، فراوانبوون بە زیادکردنی ئامێر، و زۆرجار .
چوار خێزان: ⁦(MongoDB)⁩، (Redis، DynamoDB)، (Cassandra، HBase) و ⁦(Neo4j)⁩.
جێی SQL ناگرێتەوە: ڕێکخراو و توندی وەک دەفتەری حسابی بانک هێشتا شوێنی لە .
= ، و (لەگەڵ و ).
ئامرازەکان: ⁦Hadoop (HDFS⁩، YARN، MapReduce) بۆ کاری کۆمەڵەیی، Spark بۆ کاری کۆمەڵەیی خێرا و تەوژمی، Kafka و ئامرازەکانی تری تەوژم بۆ لە کاتی ڕۆیشتنیدا.

Many NoSQL and big data systems now run as services in the cloud. That is the topic of the next lesson: Cloud Databases.

زۆرێک لە سیستەمەکانی و ئێستا وەک خزمەتگوزاری لە هەوردا کار دەکەن. ئەمە بابەتی وانەی داهاتووە: بنکەدراوە هەورییەکان.

Lesson complete!وانەکە تەواو بوو!

Well done. Review the key terms, then go on to the next lesson.دەستخۆش. سەیرێکی زاراوە سەرەکییەکان بکەرەوە، پاشان بڕۆ بۆ وانەی داهاتوو.

Key termsزاراوە سەرەکییەکان

Next lessonوانەی داهاتوو

Cloud Databasesبنکەدراوە هەورییەکان

Related lecturesوانە پەیوەندیدارەکان

References and further readingسەرچاوەکان و خوێندنەوەی زیاتر

This lecture is a first edition. The Kurdish text and terminology are waiting for review by Kurdish IT teachers.ئەم وانەیە چاپی یەکەمە. دەقە کوردییەکە و زاراوەکانی چاوەڕێی پێداچوونەوەی مامۆستایانی کوردی بواری IT ن.