Dane to nowa ropa.
Clive Humby
W tej analogii rolę rafinerii, infrastruktury przesyłowej i magazynowej – czyli wszystkiego, co pozwala wydobyć z tej „ropy” realną wartość, pełni System Zarządzania Danymi, czyli
- zestaw technologii, procesów i praktyk, które umożliwiają zbieranie, organizowanie, przechowywanie, zabezpieczanie i udostępnianie danych.
- zapewnienie, że dane są dostępne, aktualne, wysokiej jakości i bezpieczne – czyli gotowe do wykorzystania w analizach, raportowaniu i podejmowaniu decyzji
- umożliwieni automatyzacji, integracji oraz kontroli nad całym cyklem życia danych – od ich pozyskania, przez przetwarzanie, aż po archiwizację lub usunięcie
Zapoznaj się, w jaki sposób podchodzę do oferowanych przeze mnie usług dbałości o dane i systemy ich zarządzania.
Wydajność systemu spada znacznie wcześniej, niż osiągnie on pełne obciążenie.
Brendan Gregg
- Analiza pracy baz danych pod kątem czasu realizacji zapytań, obciążenia CPU, zużycia pamięci oraz wydajności dysków
- Optymalizacja zapytań SQL
- Projektowanie oraz wdrażanie indeksów
- Optymalizacja struktury bazy i dostosowanie modelu do potrzeb aplikacji oraz zmieniających się danych
- Konfiguracja buforów, pamięci cache oraz monitorowanie wykorzystania zasobów serwera
- Przeprowadzanie testów wydajnościowych oraz analizowanie trendów zużycia zasobów
- Automatyzacja i aktualizacje
- Tworzenie raportów z testów, wdrożeń i analiz wydajnościowych, a także dokumentowanie architektury i zmian w bazie pod kątem dalszego rozwoju systemu
Złe dane są gorsze niż brak danych.
Tim Berners-Lee
- Zastosowanie reguł integralności dla spójności i zgodność danych w bazie
- Walidacja i profilowanie danych
- Czyszczenie i korekta danych
- Monitorowanie jakości danych na bieżąco
- Zarządzanie cyklem życia danych
- Zarządzanie uprawnieniami i odpowiedzialnością
Im prostszy system, tym mniej podatny na awarie i łatwiejszy w naprawie.
Thomas Paine
- Analiza i eliminacja zbędnej złożonośc
- Projektowanie przejrzystej struktury danych
- Redukcja redundancji i niepotrzebnych zależności
- Ułatwianie obsługi danych przez uproszczone interfejsy
- Standaryzacja i dokumentowanie schematu bazy
- Automatyzacja prostych zadań administracyjnych
Największym problemem w komunikacji jest iluzja, że do niej doszło.
George Bernard Shaw
- Analiza wymagań integracyjnych
- Projektowanie mechanizmów wymiany danych
- Mapowanie i transformacja danych
- Tworzenie i wdrażanie interfejsów integracyjnych
- Wdrażanie kontroli integralności oraz mechanizmów oczyszczania danych
- Monitorowanie i utrzymanie synchronizacji danych
- Zapewnienie bezpieczeństwa i zgodności
- Dokumentowanie procesu integracji
- Współpraca z zespołami rozwoju i biznesu