shopfreephoenix.com

  

Beste Artikel:

  
Main / Was ist die Cume-Funktion in der Informatica-Cloud?

Was ist die Cume-Funktion in der Informatica-Cloud?

Registrierung jetzt geöffnet: Beschleunigen Sie die Erkennung mit Unified Analytics Unified Analytics ist eine neue Kategorie von Lösungen, die die Datenverarbeitung mit KI-Technologien vereinheitlichen und KI für Unternehmen viel besser erreichbar machen ...

Die Hauptaufgabe besteht darin, die gesamte ... In diesem Blogbeitrag stellen wir die neue Fensterfunktionsfunktion vor, die in Apache Spark 1 hinzugefügt wurde. Mit den Fensterfunktionen können Benutzer von Spark SQL viele Datenwissenschaftler, Analysten und allgemeine Business Intelligence-Benutzer verlassen zu interaktiven SQL-Abfragen zum Durchsuchen von Daten. Spark SQL ist ein Spark ... Vor 1. Aggregierte Funktionen wie SUM oder MAX arbeiten mit einer Gruppe von Zeilen und berechnen für jede Gruppe einen einzelnen Rückgabewert.

Obwohl beide in der Praxis sehr nützlich sind, gibt es immer noch eine Vielzahl von Operationen, die mit diesen Funktionstypen allein nicht ausgedrückt werden können.

Insbesondere gab es keine Möglichkeit, beide mit einer Gruppe von Zeilen zu arbeiten, während für jede Eingabezeile immer noch ein einzelner Wert zurückgegeben wurde. Diese Einschränkung macht es schwierig, verschiedene Datenverarbeitungsaufgaben auszuführen, z. B. die Berechnung eines gleitenden Durchschnitts, die Berechnung einer kumulierten Summe oder den Zugriff auf die Werte einer Zeile, die vor der aktuellen Zeile angezeigt wird. Zum Glück für Benutzer von Spark SQL füllen Fensterfunktionen diese Lücke. Im Kern berechnet eine Fensterfunktion einen Rückgabewert für jede Eingabezeile einer Tabelle basierend auf einer Gruppe von Zeilen, die als Frame bezeichnet wird.

Jeder Eingabezeile kann ein eindeutiger Frame zugeordnet sein. Diese Eigenschaft von Fensterfunktionen macht sie leistungsfähiger als andere Funktionen und ermöglicht es Benutzern, verschiedene Datenverarbeitungsaufgaben auszudrücken, die ohne Fensterfunktionen nur schwer oder gar nicht präzise ausgedrückt werden können. Das Ergebnis dieser Abfrage wird unten angezeigt.

Ohne die Verwendung von Fensterfunktionen ist es sehr schwierig, die Abfrage in SQL auszudrücken, und selbst wenn eine SQL-Abfrage ausgedrückt werden kann, ist es für die zugrunde liegende Engine schwierig, die Abfrage effizient auszuwerten. Unten finden Sie ein Python DataFrame-Programm, mit dem diese Frage beantwortet wird. Das Ergebnis dieses Programms ist unten dargestellt. Ohne Fensterfunktionen müssen Benutzer alle höchsten Umsatzwerte aller Kategorien finden und dann diesen abgeleiteten Datensatz mit der ursprünglichen productRevenue-Tabelle verknüpfen, um die Umsatzunterschiede zu berechnen.

Spark SQL unterstützt drei Arten von Fensterfunktionen: Die verfügbaren Ranking-Funktionen und Analysefunktionen sind in der folgenden Tabelle zusammengefasst. Für Aggregatfunktionen können Benutzer jede vorhandene Aggregatfunktion als Fensterfunktion verwenden. Um Fensterfunktionen verwenden zu können, müssen Benutzer markieren, dass eine Funktion von beiden als Fensterfunktion verwendet wird.

Sobald eine Funktion als Fensterfunktion markiert ist, besteht der nächste wichtige Schritt darin, die dieser Funktion zugeordnete Fensterspezifikation zu definieren. Eine Fensterspezifikation definiert, welche Zeilen in dem Rahmen enthalten sind, der einer bestimmten Eingabezeile zugeordnet ist.

Eine Fensterspezifikation besteht aus drei Teilen: Die SQL-Syntax wird unten gezeigt. Am Beispiel von Python können Benutzer Partitionierungsausdrücke und Ordnungsausdrücke wie folgt angeben. Zusätzlich zur Reihenfolge und Partitionierung müssen Benutzer die Startgrenze des Rahmens, die Endgrenze des Rahmens und den Typ des Rahmens definieren, die drei Komponenten einer Rahmenspezifikation sind. Für die anderen drei Arten von Grenzen geben sie den Versatz von der Position der aktuellen Eingabezeile an und ihre spezifischen Bedeutungen werden basierend auf dem Typ des Rahmens definiert.

Ein logischer Versatz ist die Differenz zwischen dem Wert des Ordnungsausdrucks der aktuellen Eingabezeile und dem Wert desselben Ausdrucks der Grenzzeile des Rahmens. Aufgrund dieser Definition ist bei Verwendung eines RANGE-Frames nur ein einziger Ordnungsausdruck zulässig.

Außerdem werden für einen RANGE-Frame alle Zeilen mit demselben Wert des Ordnungsausdrucks mit der aktuellen Eingabezeile als dieselbe Zeile betrachtet, was die Grenzberechnung betrifft. Die folgenden fünf Abbildungen veranschaulichen, wie der Frame mit der Aktualisierung der aktuellen Eingabezeile aktualisiert wird. Alle Zeilen, deren Umsatzwerte in diesen Bereich fallen, befinden sich im Rahmen der aktuellen Eingabezeile.

Seit der Veröffentlichung von Spark 1. Einige davon werden in Spark 1 hinzugefügt. Neben der Verbesserung der Leistung werden in naher Zukunft zwei Funktionen hinzugefügt, um die Unterstützung von Fensterfunktionen in Spark SQL noch leistungsfähiger zu machen. Mit unserer Unterstützung für Fensterfunktionen können Benutzer ihre benutzerdefinierten Aggregatfunktionen sofort als Fensterfunktionen verwenden, um verschiedene erweiterte Datenanalyseaufgaben durchzuführen. Um diese Spark-Funktionen auszuprobieren, erhalten Sie eine kostenlose Testversion von Databricks oder verwenden Sie die Community Edition.

Die Entwicklung der Fensterfunktionsunterstützung in Spark 1. Insbesondere möchten wir Wei Guo für den Beitrag zum ersten Patch danken. Databricks Inc. Kontaktieren Sie uns. Alle Rechte vorbehalten. Datenschutzerklärung. Beschleunigen Sie die Erkennung mit Unified Analytics. Unified Analytics ist eine neue Kategorie von Lösungen, die die Datenverarbeitung mit KI-Technologien vereinheitlichen und KI für Unternehmen viel besser erreichbar machen ...

Navigationssuche umschalten. Blog-Newsletter abonnieren. Fensterfunktionen ermöglichen Benutzern von Spark SQL. Viele Datenwissenschaftler, Analysten und allgemeine Business Intelligence-Benutzer verlassen sich auf interaktive SQL-Abfragen, um Daten zu untersuchen. Probieren Sie Databricks kostenlos aus. Fangen Sie noch heute an. Verwandte Begriffe:. Alle Engineering Blog-Beiträge anzeigen.

(с) 2019 shopfreephoenix.com