Полуночный Трёп №12: Data Mesh - Почему, Что И Как. Опівночні Балачки podcast

Полуночный трёп №12: Data Mesh - почему, что и как.

3+ y ago 1:33:56

साझा करें

Денис, Ігор, Саша द्वारा प्रदान की गई सामग्री. एपिसोड, ग्राफिक्स और पॉडकास्ट विवरण सहित सभी पॉडकास्ट सामग्री Денис, Ігор, Саша या उनके पॉडकास्ट प्लेटफ़ॉर्म पार्टनर द्वारा सीधे अपलोड और प्रदान की जाती है। यदि आपको लगता है कि कोई आपकी अनुमति के बिना आपके कॉपीराइट किए गए कार्य का उपयोग कर रहा है, तो आप यहां बताई गई प्रक्रिया का पालन कर सकते हैं https://hi.player.fm/legal।

Если вы знаете как работают дата пайплайны и что делают дата инженеры, можно скипать до 33:50

Тайминги

0:00:00-0:01:35 Intro. Почему именно эта тема
0:01:35 - 0:09:55 Базы данных, разделение операционных и аналитических данных. Data Warehouse, ⭐️ и ❄️ . Data Lake. Data Hoarding (дата скопидомство)
0:09:55 - 0:26:33 Что делает Data Engineer (инженер данных)? Шаги на пути данных от сырых к "готовым к употреблению". Ingestion, ETL. Виды обработки: stream (потоковая) / batch (пакетная) / гибридная. Передача данных конечным потребителям.
0:26:33 - 0:33:50 Что в классическом подходе может пойти не так?
0:33:50 - 0:47:05 Приход к концепции Data Mesh. Оригинальная статья от Zhamak Dehghani. Смена не инструментов обработки, а организации работы. Data Mesh = Data Platform + Data Products. Составляющие Дата Платформы. Составляющие Дата Продукта, Input/Output Ports.
0:47:10-1:00:01 Преимущества дата мешей. Легкость нахождения нужных данных / Data Discoverability: каталог данных / Data Catolog; происхождение данных / Data Lineage. Отвественность за весь жизненный цикл данных в дата продукте. Управление доступом к данным / Data Governance. Параллели с микросервисами. Графы дата продуктов, миграции данных в этом подходе.
1:00:01 - 1:09:08 Качество Данных / Data Quality. Дата тесты. Статичные и статистические тесты, поиск аномалий. Опенсорс и коммерческие решения. redata / montecarlodata / anomalo
1:09:08 - 1:13:26 Инструменты для построения дата платформы. Data Bricks. Fivetran / Airbyte (Singer). Airflow + k8s + Spark. AWS Glue / Google Cloud DataFlow.
1:13:26 - 1:32:50 Кому подойдет Data Mesh? Как начинать новые проекты с прицелом в дата меши? Как пытаться перейти на новый подход в существующем проекте? Кто из больших компаний продвигает этот подход? Пытаемся подвести итоги.
1:32:50 - 1:33:55 Outro

Ссылки

Оригинальная статья: https://martinfowler.com/articles/data-monolith-to-mesh.html, продолжение https://martinfowler.com/articles/data-mesh-principles.html | Видео-версия http://youtu.be/MBF0Wg7rFV8

Мигрируем абстрактный е-коммерс на дата меши: https://towardsdatascience.com/data-mesh-applied-21bed87876f2

Инструменты не влазят в лимиты описание, поэтому они вот.

Комментарии и рабочие ссылки можно найти в t.me/midnight_chatter

Музыка подкаста: Harris Heller - StreamBeats

47 एपिसोडस