IT-Management.today IT-Management.today
  • Top Themen
  • Cloud
  • Security
  • Rechenzentrum
  • Kommunikation
  • Arbeitsplatz
  • Whitepaper
  • Veranstaltungen
  • Vorträge
Go to...

    EMC Isilon als Grundlage für einen Scale-out-Data-Lake

    Michael BreyerMichael Breyer
    17. Januar, 2017
    EMC Isilon als Grundlage für einen Scale-out-Data-Lake

    Bewertungen

    guter Artikel
    8
    summary : Guter Input zum Thema Big Data-Workflows

    Der EMC Isilon-Scale-out-Data-Lake ist eine ideale Plattform für die Multiprotokollaufnahme von Daten. Das ist eine wichtige Funktion in Big Data-Umgebungen, in denen Daten schnell und zuverlässig über Protokolle aufgenommen werden müssen, die dem Workload, der die Daten erzeugt, am nächsten kommen. Mit OneFS können Daten über NFSv3, NFSv4, SMB 2.0, SMB 3.0 sowie HDFS aufgenommen werden. Damit ist die Plattform sehr gut geeignet für komplexe Big Data-Workflows.

    IDC hat die robusten Multiprotokollfunktionen der OneFS-Plattform validiert. Diese Validierung beinhaltet die Möglichkeit der Plattform, Benutzerzugriffsberechtigungen über Protokolle hinweg
    beizubehalten. Für diese Validierung wurde der EMC Isilon-Scale-out-Data-Lake für den Zugriff über NFSv3, SMB 3.0 und über HDFS vom Hadoop-Cluster konfiguriert. Der HDFS- und NFS-Zugriff wurde über den Master-Node auf dem Hadoop-DAS-Cluster eingerichtet. Der Download einer großen Datei wurde simuliert (Wikipedia-Wiki-Daten, 10 GB). Die Komprimierung der Datei wurde beibehalten. Der Zugriff auf die Datei und die Analyse der Datei erfolgte kontinuierlich über HDFS, während die Datei über NFS in den EMC Isilon-Scale-out-Data-Lake kopiert wurde. Außerdem wurde über SMB 3.0 auf die Datei zugegriffen, während sie über HDFS bzw. NFS gelesen und geschrieben wurde.

    Mehr zum Thema EMC Isilon erfahren Sie in unserem Whitepaper. Sie können es hier

    kostenlos downloaden

    Unternehmen fällt es aus folgenden Gründen leicht, Workflows über den EMC Isilon-Scale-out-Data-Lake aufzubauen:
    • Er ermöglicht die Verwendung vorhandener und bekannter Dateiprotokollmechanismen (anstelle von Hadoop-spezifischen Mechanismen, für die spezielle Änderungen auf Anwendungsebene erforderlich sind).
    • Die Funktionen für die Performanceoptimierung machen ihn zu einer idealen Plattform für unternehmensweite Datenspeicher/-analyse mit zentralem Repository.
    • Die Verwendung nativer Protokolle ermöglicht lokale Analysen (unter Vermeidung von Migrationen), sorgt für schnellere Datenworkflows und lässt Unternehmen schneller Einblicke gewinnen.

    Originalauszug aus dem Whitepaper:

    Der EMC Isilon-Scale-out-Data-Lake bietet für Hadoop-Cluster, die über OneFS auf HDFS zugreifen, gegenüber Clustern, die über einen lokalen (internen) Speicher auf HDFS zugreifen, eine
    hervorragende Lese- und Schreibperformance. IDC hat die Performanceprofile von DAS und EDLP mithilfe von bekannten Hadoop-Benchmarkjobs validiert, die mit der Hadoop-Distribution bereitgestellt werden.

    Für diese Validierung wurden 3 Standardbenchmarktests verwendet: TeraGen, TeraSort und TeraValidate. TeraGen führt einen Benchmark für die sequenzielle Schreibperformance durch. TeraSort bietet einen guten Benchmark für gemischte Lese-/Schreibtests. TeraValidate führt einen Benchmark der Leseperformance durch. Die Ergebnisse der jeweiligen Skripte sind in der Tabelle oben zusammengefasst. Das Hadoop-Data-Lake-Cluster hat über HDFS über die API auf den EMC Isilon-Scale-out-Data-Lake zugegriffen, das Hadoop-DAS-Cluster hat lokal auf HDFS zugegriffen. Für Parameter, die an die jeweiligen „Tera“-Jobs übergeben wurden, wurden auf beiden Hadoop-Clustern exakt dieselben Werte verwendet. In dieser Konfiguration ist der EMC Isilon-Scale-out-Data-Lake bei Schreibvorgängen nahezu 3-mal schneller und bei Lese-/Schreibvorgängen und Lesevorgängen mehr als 1,5-mal schneller. Ganz ähnlich bieten 10-GbE-Verbindungen trotz des Netzwerkzugriffs bedeutende Bandbreitenverbesserungen (MB/s) für Lese- und Schreibvorgänge.

    Hinweise:
    • Der EMC Isilon-Scale-out-Data-Lake wurde mit SSD-basierter Zwischenspeicherung, das Hadoop-DAS-Cluster dagegen mit SAS-Laufwerken mit 10.000 U/min konfiguriert.
    • IDC ist der Meinung, dass das Hadoop-DAS-Cluster mit internen SSDs eine deutliche Verbesserung der Performance zeigen kann.

     

    Tags : big data, Big Data-Workflow, EMC Isilon, EMC Isilon-Scale-out-Data-Lake, OneFS
    Share :
    • Facebook
    • Twitter
    • Google+
    • Pinterest
    • Linkedin
    • Email
    Michael Breyer

    Michael Breyer

    Michael Breyer verfügt über mehr als 15 Jahre Erfahrung als Geschäftsführer, Gründer und Top Level Management Positionen. Der passionierte IT Spezialist war zuletzt CEO Softgarden e-recruiting GmbH, Co-Founder und CEO Deutsche Messe Interactive GmbH, CEO Kienzle AG.

    Next article
    SWITEL stellt neue Wizard-Reihe vor
    Previous article
    Modernisieren mit Data Lake

    Related Posts

    • Rechenzentrum, Specials 22. März, 2019

      Daten sind der Treibstoff der

      Daten sind der Treibstoff der kommenden Jahrzehnte
      Aktuell, Rechenzentrum 4. März, 2019

      BearingPoint-Umfrage: Bei jedem vierten Unternehmen

      BearingPoint-Umfrage: Bei jedem vierten Unternehmen aus der Automobilindustrie ist Big Data bereits voll implementiert
      Aktuell, Cloud 22. Januar, 2019

      Mit Big Data Analytics Logistikkosten

      Mit Big Data Analytics Logistikkosten reduzieren
    • Aktuell, Cloud 5. Dezember, 2018

      Nur 5% der Unternehmen haben

      Nur 5% der Unternehmen haben modernes Data-Sharing im großen Maßstab eingeführt
      Cloud, Top Thema 30. Oktober, 2018

      Mit erkenntnisgestütztem Arbeiten zum Erfolg

      Mit erkenntnisgestütztem Arbeiten zum Erfolg
      Rechenzentrum, Whitepaper 23. Januar, 2017

      Softwarebasierter Scale-out-NAS auf Branchenstandardhardware für

      Softwarebasierter Scale-out-NAS auf Branchenstandardhardware für die Enterprise Edge

    Leave a reply

    You must be logged in to post a comment.

    Security

    • Veracode stellt Software-Sicherheitsplattform der nächsten Generation vor
      Veracode stellt Software-Sicherheitsplattform der nächsten Generation vor
    • Cyberrisiken in der Software-Lieferkette: Integrität als Schlüssel zum Erfolg
      Cyberrisiken in der Software-Lieferkette: Integrität als Schlüssel zum Erfolg
    • Allianz „Five Eyes“ veröffentlicht Liste von 15 routinemäßig ausgenutzten Schwachstellen im Jahr 2021
      Allianz „Five Eyes“ veröffentlicht Liste von 15 routinemäßig ausgenutzten Schwachstellen im Jahr 2021

    Kommunikation

    • Wie gelingt die Integration von MS Teams  in die bestehende Kommunikationsstruktur
      Wie gelingt die Integration von MS Teams in die bestehende Kommunikationsstruktur
    • Intelligente Assistenten für den Geschäftserfolg
      Intelligente Assistenten für den Geschäftserfolg
    • App-Promo-Erklärvideo: Unterschied Android & iOS
      App-Promo-Erklärvideo: Unterschied Android & iOS

    Cloud

    • Jetstack kündigt branchenweit erstes Software Supply Chain Security Toolkit an
      Jetstack kündigt branchenweit erstes Software Supply Chain Security Toolkit an
    • Genesys erhält C5-Zertifizierung
      Genesys erhält C5-Zertifizierung
    • Daten besser nutzen: Unternehmen setzen zunehmend auf eine Data Mesh-Architektur
      Daten besser nutzen: Unternehmen setzen zunehmend auf eine Data Mesh-Architektur

    Newsletter abonnieren

    • Alle wichtigen News aus der Businesswelt
    • Kompakt & aktuell
    • Völlig kostenfrei
    • Abmeldung ist jederzeit möglich.
    • Melden Sie sich jetzt an:

      Vielen Dank für Ihre Registrierung! Bitte prüfen Sie Ihren Posteingang oder Spam-Ordner, um das Abonnement zu bestätigen.

    Rechenzentrum

    • Telonic und Accedian machen Netzwerk-Performance umfassend messbar
      Telonic und Accedian machen Netzwerk-Performance umfassend messbar
    • ERP-Lösungen: Daten pflegen und nutzen statt Prozesse durch Datenmüll verlangsamen
      ERP-Lösungen: Daten pflegen und nutzen statt Prozesse durch Datenmüll verlangsamen
    • Kyocera weitet Klimaschutzengagement aus
      Kyocera weitet Klimaschutzengagement aus

    Arbeitsplatz

    • Kyocera weitet Klimaschutzengagement aus
      Kyocera weitet Klimaschutzengagement aus
    • Homeoffice mit cleveren Lösungen aufwerten
      Homeoffice mit cleveren Lösungen aufwerten
    • Mitarbeiter*innen im Arbeitsalltag unterstützen
      Mitarbeiter*innen im Arbeitsalltag unterstützen

    Whitepaper Downloads

    • Checkliste: Wie DSGVO-konform sind Ihre Videokonferenzen wirklich?
      Checkliste: Wie DSGVO-konform sind Ihre Videokonferenzen wirklich?
    • Die Vorteile von digitalen Purchase-to-Pay Lösungen
      Die Vorteile von digitalen Purchase-to-Pay Lösungen
    • Partnermanagement optimieren durch moderne B2B-Integration
      Partnermanagement optimieren durch moderne B2B-Integration

    Menü

    • Home
    • Cloud
    • Security
    • Rechenzentrum
    • Kommunikation
    • Arbeitsplatz
    • Whitepaper
    • Veranstaltungen

    Service

    • Mediadaten
    • Newsletter abonnieren
    • Newsletter abmelden
    • Impressum
    • Datenschutz
    • AGB

    Weitere BTN-Portale

    • IT-Cloud.today
    • IT-Outsourcing.today
    • ITSicherheit.today
    • Virtualisierung.today
    • Datenmanagement.today
    • Mobile-Computing.today

    Eine Marke von

    BTN Logo
    © 2020 IT-Management.today | All Rights Reserved