AWS Glue — это сервис интеграции данных без сервера, который облегчает поиск, подготовку, перемещение и интеграцию данных из различных источников для аналитики, машинного обучения (ML) и разработки приложений. В этом репозитории представлены образцы, демонстрирующие различные аспекты сервиса AWS Glue, а также различные утилиты AWS Glue.

Открытые библиотеки Python AWS Glue можно найти в отдельном репозитории по адресу: awslabs/aws-glue-libs.

Начало

• Начало работы с AWS Glue

Помогает начать использовать клей AWS.

• Часто задаваемые вопросы и инструкции

Помогает начать использовать множество ETL-возможностей AWS Glue и отвечает на некоторые из самых распространённых вопросов у людей.

Мастер-классы

• Серия AWS Glue Learning

В этой подробной серии вы изучите всё — от основ Glue до продвинутых техник оптимизации.

Уроки

Генерал

• Написание скрипта AWS Glue для Spark

Вводит процесс написания скриптов AWS Glue.

• Обнаружение и обработка чувствительных данных с помощью AWS Glue Studio

Направляет вас по созданию задачи AWS Glue, которая идентифицирует чувствительные данные на уровне строки, а также создаёт индивидуальный шаблон идентификации для выявления конкретных сущностей.

AWS Glue Samples

AWS Glue is a serverless data integration service that makes it easier to discover, prepare, move, and integrate data from multiple sources for analytics, machine learning (ML), and application development. This repository has samples that demonstrate various aspects of the AWS Glue service, as well as various AWS Glue utilities.

You can find the AWS Glue open-source Python libraries in a separate repository at: awslabs/aws-glue-libs.

Getting Started

• Getting Started with AWS Glue

  Helps you get started using AWS Glue.

• FAQ and How-to

  Helps you get started using the many ETL capabilities of AWS Glue, and answers some of the more common questions people have.

Workshops

• AWS Glue Learning Series

  In this comprehensive series, you’ll learn everything from the basics of Glue to advanced optimization techniques.

Tutorials

General

• Writing an AWS Glue for Spark script

  Introduces the process of writing AWS Glue scripts.

• Detect and process sensitive data using AWS Glue Studio

  Guides you to create an AWS Glue job that identifies sensitive data at the row level, and create a custom identification pattern to identify case-specific entities.

• Enable self-service visual data integration and analysis for fund performance using AWS Glue Studio and Amazon QuickSight

  Demonstrates how AWS Glue Studio helps you perform near-real-time analytics, and how to build visualizations and quickly get business insights using Amazon QuickSight.

• Stream data from relational databases to Amazon Redshift with upserts using AWS Glue streaming jobs

  Guides you to setup Change data capture (CDC) from relational databases to Amazon Redshift with enriching data using Glue Streaming job.

• AWS Glue streaming application to process Amazon MSK data using AWS Glue Schema Registry

  Shows how to use a combination of Amazon MSK, the AWS Glue Schema Registry, AWS Glue streaming ETL jobs, and Amazon S3 to create a robust and reliable real-time data processing platform.

Data migration