Wprowadzenie:
W związku z rosnącą popularnością platform chmurowych, takich jak
Google,
AWS i
Azure, postanowiliśmy stworzyć serię artykułów, w których omówimy podstawowe funkcjonalności tych środowisk na konkretnych przykładach użycia. Zacznijmy od Google oraz jednego z bardziej dojrzałych i użytecznych komponentów, czyli
BigQuery. Będziemy również wykorzystywać Google
Cloud Storage jako podstawowe miejsce przechowywania danych przetwarzanych w BigQuery. Podstawowe rzeczy, które chcielibyśmy zweryfikować w tym artykule:
- jak trudno jest utworzyć proste środowisko, pozwalające procesować pliki CDR (struktura opisana poniżej) z 100 mln rekordów,
- jaki jest koszt platformy używanej w trakcie naszego testu,
- jaka jest wydajność platformy
