فایل ورد کامل نرمال سازی داده های بزرگ برای پایگاه داده های پردازش موازی انبوه

توجه : به همراه فایل word این محصول فایل پاورپوینت (PowerPoint) و اسلاید های آن به صورت هدیه ارائه خواهد شد

این مقاله، ترجمه شده یک مقاله مرجع و معتبر انگلیسی می باشد که به صورت بسیار عالی توسط متخصصین این رشته ترجمه شده است و به صورت فایل ورد (microsoft word) ارائه می گردد

متن داخلی مقاله بسیار عالی، پر محتوا و قابل درک می باشد و شما از استفاده ی آن بسیار لذت خواهید برد. ما عالی بودن این مقاله را تضمین می کنیم

فایل ورد این مقاله بسیار خوب تایپ شده و قابل کپی و ویرایش می باشد و تنظیمات آن نیز به صورت عالی انجام شده است؛ به همراه فایل ورد این مقاله یک فایل پاور پوینت نیز به شما ارئه خواهد شد که دارای یک قالب بسیار زیبا و تنظیمات نمایشی متعدد می باشد

توجه : در صورت مشاهده بهم ریختگی احتمالی در متون زیر ،دلیل ان کپی کردن این مطالب از داخل فایل می باشد و در فایل اصلی فایل ورد کامل نرمال سازی داده های بزرگ برای پایگاه داده های پردازش موازی انبوه،به هیچ وجه بهم ریختگی وجود ندارد

تعداد صفحات این فایل: ۴۰ صفحه

در پایگاه داده هایی که به پردازش موازی داده های انبوه یا به اختصار MPP می پردازند، معمولاً پرس و جو با عملکرد بالا و پرس وجوی اَدهاک به عنوان هدف های دو به دو ناسازگار در نظر گرفته می شوند. همچنین در این نوع از پایگاه دادده ها، میان سهولت توسعه ی مدل داده و سهولت تجزیه و تحلیل نیز تضاد وجود دارد. رویکرد جدیدی که “دریاچه داده ” نام دارد، اینگونه وعده می دهد که با افزودن داده های جدید به مدل، توسعه ی مدل داده ساده تر خواهد شد، در حالیکه این دریاچه بسیار مستعد است که در نهایت تبدیل به باتلاقی بدون ساختار از داده ها شود؛ با توجه به عدم رعایت موازین و استانداردها، دریاچه ی داده از کنترل خارج می شود، یافتن داده ها و همچنین استفاده از داده ها، دشوار خواهد شد و بدین ترتیب دیگر داده ها قابل استفاده نخواهند بود. در این مقاله، تکنیک جدیدی معرفی می شود که با استفاده از مدلسازی لنگر داده های بزرگ را بسیار نرمال می کند؛ با استفاده از این تکنیک برای ذخیره ی اطلاعات و استفاده از منابع، روش بسیار مؤثری ارائه می شود، در نتیجه برای اولین بار در پایگاه داده هایی که به پردازش موازی داده های انبوه می-پردازند، پرس وجوی اَدهاک با کارایی بالا ارائه می شود (در این متن، منظور از پرس و جو، کوئری می باشد). این تکنیک برای توسعه ی مدل داده و تبدیل آن به دریاچه ی داده، روش تقریباً مناسبی است، این در حالی است که مدل، به صورت داخلی در برابر تبدیل شدن به دریاچه داده محافظت می شود. در اینجا یک مطالعه ی موردی نیز انجام شده است، این مطالعه به این مسأله می پردازد که چگونه این روش به مدت بیش از سه سال از انبارداده ا ی موجود در آویتو استفاده کرده است (آویتو یک وب سایت روسی است)؛ همچنین نتایج آزمایشاتی که با استفاده از داده های واقعی در HP Vertica انجام شده اند، نیز ارائه می شود. این مقاله براساس نتایج بدست آمده از یک پایان نامه گردآوری شده و در ۳۴ اُمین کنفرانس بین المللی مدلسازی مفهومی در سال ۲۰۱۵ ارائه شده است ]۱[؛ این مقاله با استفاده از نتایج عددی که در طی چندین سال (۱ تا ۳ سال) از نرمالسازی داده های بزرگ موجود در نواحی کلیدی انبار داده، بدست آمده است، تکمیل می شود. همچنین در اینجا به توصیف محدودیت ها نیز پرداخته می شود؛ این محدودیت ها به علت استفاده از تنها یک خوشه از پایگاه داده ی MPP ایجاد می شوند.

کلمات کلیدی: داده های بزرگ | MPP | پایگاه داده | نرمال سازی | تجزیه و تحلیل | اَدهاک | پرس وجو | مدل سازی | عملکرد | دریاچه داده.

عنوان انگلیسی:

Big Data normalization for massively parallel processing databases

~~en~~ writers :

Nikolay Golov, Lars Rnnbck

High performance querying and ad-hoc querying are commonly viewed as mutually exclusive goals in massively
parallel processing databases. Furthermore, there is a contradiction between ease of extending the data model
and ease of analysis. The modern Data Lake approach, promises extreme ease of adding new data to a data
model, however it is prone to eventually becoming a Data Swamp – unstructured, ungoverned, and out of
control Data Lake where due to a lack of process, standards and governance, data is hard to find, hard to use and
is consumed out of context. This paper introduces a novel technique, highly normalized Big Data using Anchor
modeling, that provides a very efficient way to store information and utilize resources, thereby providing ad-hoc
querying with high performance for the first time in massively parallel processing databases. This technique is
almost as convenient for expanding data model as a Data Lake, while it is internally protected from
transforming to Data Swamp. A case study of how this approach is used for a Data Warehouse at Avito over
a three-year period, with estimates for and results of real data experiments carried out in HP Vertica, an MPP
RDBMS, is also presented. This paper is an extension of theses from The 34th International Conference on
Conceptual Modeling (ER 2015) (Golov and Rnnbck 2015) [1], it is complemented with numerical results
about key operating areas of highly normalized big data warehouse, collected over several (1–۳) years of
commercial operation. Also, the limitations, imposed by using a single MPP database cluster, are described, and
cluster fragmentation approach is proposed.

Keywords: Big Data | MPP | Database | Normalization | Analytics | Ad-hoc | Querying | Modeling | Performance | Data Lake

$$en!!