Contents

Laboratorium 7

Zadanie 7.0

  • Zainstaluj lokalnie narzędzia pyenv oraz poetry (curl -sSL https://raw.githubusercontent.com/python-poetry/poetry/master/install-poetry.py | python - ),

  • Zainstaluj odpowiednią wersję pythona pyenv install 3.8.12 oraz ją uruchom pyenv shell 3.8.12,

  • Zainstaluj zależności poetry install,

  • Uruchom poetry shell poetry shell,

  • Uruchom sample python lab7_2021_base/sample.py

Zadanie 7.1 (4 pkt)

Przygotuj środowisko do uruchomienia aplikacji Flink z zastosowaniem Dockera. Wykorzystaj multi-stage builds. Pamiętaj o zweryfikowaniu pobranej dystrybucji Flinka.

Zadanie 7.2 (4 pkt)

Stwórz przykładową aplikację Flink, która wygeneruje 10 000 000 losowych liczb double oraz zapisze je do pliku

Zadanie 7.3 (5 pkt)

Stwórz aplikację Flink, która wygeneruje 1 000 000 losowych stringów o losowej długości z zadanego (konfigurowalnego przedziału), następnie zapisz je na dysku. Stwórz kolejną aplikację która wczyta zapisane date oraz policzy liczbe znaków.

Zadanie 7.4 (2 pkt)

Uruchom zadanie 2 z wykorzystaniem EMR.

Zadanie 7.5 (1 pkt)

Zapoznaj się ze Web-UI Flinka, dodaj odpowiednie mapowanie portów do docker-compose.yaml tak by uzyskać do niego dostęp.

Zadanie 7.6 (1 pkt) - zadanie opcjonalne

Stwórz kolejną aplikację która policzy liczbę słów w zadanym dodatkowym źródle danych. Znajdź dowolne źródło oraz przygotuj skrypt bash który je pobierze oraz umożliwi przetwarzanie za pomocą przygotowanej aplikacji.

Laboratorium 6 Laboratorium 8