Schlagwort-Archiv: Big Data

Big Data umfasst Methoden und Technologien zur Analyse großer Datenmengen.

Revolution R Enterprise 6.2 mit neuen Funktionen für hoch performante Analysen auf Big Data

Der führende Anbieter von professioneller Software für die freie Statistik-Programmiersprache R, Revolution Analytics, hat eine neue Version von Revolution R Enterprise entwickelt. Nach Abschluss der laufenden Testphase ist der offizielle Release Termin für den 22. April festgesetzt.

Die Version unterstützt Open Source R 2.15.3. Somit können Revolution R Enterprise Anwender von den umfangreichen Neuerungen von Version R 2.15 profitieren und abhängige Pakete in der neuesten Version nutzen.

Zudem beinhaltet  Revolution R Enterprise 6.2 unter anderem zahlreiche Verbesserungen des ScaleR Package für High-Performance Analysen:

Weiterlesen

R Version 3.0.0 ist da und bringt weitere Verbesserungen für Big Data

Mit der gestrigen Veröffentlichung von R.3.0.0 ist ein weiterer Meilenstein in der Geschichte von R erreicht, denn der Sprung von Version 2 auf 3 führt die umfangreichen Fortschritte  der letzten Jahre vor allem in Bezug auf Performance zusammen.

Effizientere Nutzung von Speicher oder „parallel Computing“ sind wichtige Mechanismen  um den aktuellen Anforderungen an Big-Data-Analysen gerecht zu werden. Vor diesem Hintergrund ist eines der Highlights von R.3.0.0 die Einführung von „big Vectors“. Durch die verbesserte Speicherverwaltung in Version 3.x, sind 64-Bit Systeme nun in der Lage, Vektoren mit mehr als 2^31 Einträgen zu indizieren. Dadurch ist es möglich, auch größere Datensätze, wie sie in der Praxis immer häufiger auftauchen, in ihrer Gesamtheit zu erfassen und zu analysieren.

Eine komplette Auflistung aller Änderungen finden sich unter https://stat.ethz.ch/pipermail/r-announce/2013/000561.html

Zeitgleich veröffentlichte RStudio auch eine neue Version ihrer beliebten Entwicklungsumgebung, die an R 3.0.0 angepasst ist.

BigData auf Hadoop mit R analysieren

Mit den R-Paketen von Revolution Analytics lassen sich MapReduce-Algorithmen für verteilte Daten in einem Hadoop Cluster entwickeln und anwenden

Seit die Meta Group 2001 das erste Mal von BigData sprach, werden immer wieder drei Aspekte genannt, die „BigData“ ausmachen: Die Menge der Daten (“Volume”), die Geschwindigkeit, mit der sich die Daten ansammeln (“Velocity”) und schließlich die Vielfalt der Formate der Daten (“Variety”). Vor allem die Vielfalt in Verbindung mit der gleichzeitigen Zunahmen der Daten hat zur Entwicklung von verteilten Filesystemen wie Hadoop geführt. Hadoop kommt ohne die bekannte Spaltenorientierung von relationalen Datenbanksystemen aus. Die Vorteile des Konzeptes sind, dass es keinen Unterschied zwischen strukturierten und unstrukturierten Daten gibt und dass der Aufwand für Strukturänderungen unabhängig vom Datenvolumen konstant ist. Kundenprofile, Social-Media-Daten, Produktinformationen oder Klickdaten sind Beispiele für Daten, die zunehmend in verteilten Clustern verwaltet werden.

Weiterlesen

fuzzycheKc – Erkennung von ähnlichen Daten

  • Lösung zur Steigerung der Datenqualität
  • Vollautomatisches Erkennen von Duplikaten und ähnlichen Einträgen
  • Vollständige Integtation in bestehende Systeme

Datenqualität hat eine hohe Relevanz für viele IT-Systeme wie CRM- oder ERP-Systeme. Richtige, vollständige und aktuelle Daten sind essentiell für erfolgreiche operative Prozesse. Darüber hinaus ist auch die Qualität analytischer Auswertungen ganz besonders von einer guten Datenqualität abhängig wie zum Beispiel beim analytischen CRM. Adressdaten in CRM-Systemen sind ein Bereich, in dem Datenqualität immer wieder eine besondere Rolle spielt. Fehlerhafthaft zugestellte Rechnungen sind dabei eines von vielen plakativen Beispielen für unzureichende Datenqualität. Weiterlesen

Revolution Analytics veröffentlicht Revolution R Enterprise 6.0

  • Unterstützung für Microsoft HPC Cluster, Windows Azure und IBM LSF Cluster
  • Erweiterte Funktionen für Predictive Analytics mit Big Data
  • Eigenes Dateiformat, um große Daten lokal zu berechnen

Revolution Analytics, der führende Anbieter von professioneller Software für die freie Statistik-Programmiersprache R, gibt die neuste Version von Revolution R Enterprise bekannt. Die Version 6.0 unterstützt weitere Cluster und Cloud Plattformen, ergänzt neue Prognose Modelle für Big Data, vereinfacht den Umgang mit großen Daten in lokalen Umgebungen und unterstützt Open Source R 2.14.2.

Weiterlesen

Excel Reports mit R erstellen am Beispiel des Zugmonitors der SZ

Daten im Überfluss sind gleichzeitig Fluch und Segen unserer Zeit. Mit dem Zugmonitor hat die Süddeutsche Zeitung ein besonders anschauliches Projekt initiiert, das die Möglichkeiten und den Nutzen von „BigData“ aufzeigt. eoda erklärt in einem Screecast, wie man die Daten mit Hilfe R in Echtzeit für Excel-Nutzer aufbereiten kann.
Weiterlesen

Webbasierte Business Anwendungen mit R zur Visualisierung von Social Media Analysen

Analysen und Reporting, in einer ansprechenden visuellen Form dargestellt, ermöglichen breiten Nutzergruppen den Zugang zu großen und komplexen Daten. Dashboards – in Echtzeit aufbereitete und webbasiert zur Verfügung gestellte Ergebnisse ermöglichen schnelle Reaktionszeiten.

R in Verbindung mit modernen Web-Technologien bietet vielfältige und umfassende Möglichkeiten für Business Analytics Anwendungen.

Ein Einsatzfeld zur Visualisierung der Ergebnisse von Analysen auf großen Datenbeständen sind soziale Netzwerke. Kunden, Interessenten, Multiplikatoren oder auch Wettbewerber senden Nachrichten über Twitter, Facebook und andere Plattformen an ihre Freunde und Follower. So ist es durchaus interessant, die Häufigkeit, die Inhalte oder die Tonalität solcher Nachrichten – beispielsweise über das eigene Unternehmen, eine Marke oder ein Fachthema – zu analysieren. Ein prädestiniertes Beispiel einer solchen Analyse sind Twitter-Nachrichten oder „Twitter-Gespräche“. Hier ermöglichen analytische Arbereitung und die passenden Algorithmen einen Blick auf die Zusammenhänge von Themen, Begriffen, Hashtags oder Autoren. Diese gewonnenen Informationen können je nach Fragestellung entsprechend aufbereitet und dargestellt werden.

Twitter Monitor als Web Applikation mit R

Twitter Monitor als Web Applikation mit R

Weiterlesen

Die Anatomie eines „Twitter-Gesprächs“ – Social Media mir R analysieren

Was hat Big Data mit Christian Wulff zu tun? Und welche Rolle spielt dabei Hans Sarpei, der Außenverteidiger von Schalke 04? Über Social Media lassen sich Zusammenhänge zwischen Themen erschließen. Vernetzte Kommunikation ist ein Schlagwort des 21. Jahrhunderts. Neue Kommunikationsmittel verändern die Verständigung: Menschen werden immer erreichbarer, Kommunikation dafür kürzer, indirekter, oberflächlicher – wirklich?
Weiterlesen

Pressemitteilung: Revolution Analytics und eoda geben Partnerschaft bekannt

 

eoda bietet analytische Software-Lösungen basierend auf „Revolution R Enterprise“

20.02.2012, Kassel, Deutschland. Der auf Lösungen für „High Performance Analytics“ spezialisierte Anbieter Revolution Analytics und der deutsche Datenanalyse-Spezialist eoda geben ihre Partnerschaft bekannt. Der IT-Dienstleister eoda, Kooperationspartner der Universität Kassel und Vorreiter in Deutschland für die Statistik-Sprache R im Business-Umfeld, bietet Consulting, Training und Integrationsleistungen zu R. Die Wissenschaftler und IT-Experten von eoda sind spezialisiert auf die Analyse von strukturierten und unstrukturierten Daten. Als Vertriebs- und Beratungspartner entwickelt eoda Lösungen zur Datenanalyse auf der Basis von Revolution R Enterprise und leistet deutschsprachigen Support für die Produkte von Revolution Analytics.

„Die Partnerschaft mit eoda ist ein weiterer Schritt im Rahmen unserer internationalen Expansion“ sagt David Smith, Vice President Marketing und Community von Revolution Analytics. „Wir teilen die gleiche Vision von High Perfomance Analytics, der Verbindung aus High Performance Computing und hochwertiger Datenanalyse. Wir teilen die gleiche Leidenschaft für R und das einzigartige Potenzial dieser Sprache, Innovationen in der Datenanalyse für Unternehmen verfügbar zu machen. Wir unterstützen beide die dynamische Community der R-Entwickler und Nutzer, die eine breite Palette an Anwendungen und Verfahren zur wissenschaftlichen Datenanalyse entwickelt.“

Für Datenanalyse begeisterte Anwender profitieren durch die Partnerschaft von der lokalen Präsenz der Spezialisten von eoda, die in ein weltweites Netz aus Analyse-Experten eingebunden sind.

Revolution Analytics und eoda geben Big Data einen Sinn

Kürzere Produktlebenszyklen, Individualisierung sowie die fortschreitende Digitalisierung erhöhen die Menge der vorhandenen Daten und gleichzeitig die Notwendigkeit, intelligent mit dem Rohstoff Daten umzugehen. Social Media und die Vernetzung der Gegenstände untereinander, wie in der Logistik, treiben die Entwicklung voran. Für Unternehmen ist Big Data das Synonym für die beispiellosen Möglichkeiten, nützliche Erkenntnisse aus großen Datenmengen zu gewinnen. Die Chancen und die Herausforderungen, die Big Data darstellt, sind das Spezialgebiet von eoda.

„Eine logistische Regression, über eine Million Zeilen, die in Prognosen oder Ratings zum Einsatz kommen kann, hat eine inhaltliche – also handwerkliche – und eine technologische Dimension“, stellt Heiko Miertzsch, Geschäftsführer von eoda, die Herausforderung für Anwenderunternehmen dar. Die Partnerschaft führt ein leistungsfähiges modernes Framework zur Datenanalyse basierend auf R mit den analytischen Erfahrung von eoda zusammen. Miertzsch: „Unsere Analyse-Spezialisten helfen Anwendern, die richtigen Fragen zu erarbeiten und die Ergebnisse der Analysen zu interpretieren. Revolution R Enterprise von Revolution Analytics ist dabei ein mächtiges Werkszeug, das Ergebnisse in Sekunden statt Tagen liefert – ohne teure Hardware. Zusammen bieten wir vergleichsweise günstige TCO und so auch die Möglichkeit, mit verschiedenen Modellen zu experimentieren, bevor man den optimalen Ansatz wählen kann.“

Über:

R – „die mächtigste Programmiersprache zur Datenanalyse

R ist eine Software zur Datenanalyse und Visualisierung. 1993 an der Universität von Auckland in Neuseeland entwickelt, steht R für einen völlig neuartigen Ansatz, mit Daten aller Art umzugehen. R bietet eine Vielzahl von statistischen Methoden (lineare und nichtlineare Modellierung, klassische statistische Testverfahren, Zeitreihenanalyse, Clusteranalysen etc.) und Werkzeuge zur grafischen Visualisierung. Dabei ist R in höchstem Maße erweiterbar. Eine der Stärken von R ist die Einfachheit, mit der sich perfekt gestaltete publikationsreife Grafiken erstellen lassen. Und während die Standardeinstellungen schon sehr gute Ergebnisse liefern, bleibt dem Benutzer die volle Kontrolle über alle Elemente, um eine Grafik an die eigenen Anforderungen anzupassen. R wird weltweit von schätzungsweise 2 Millionen Nutzern in Unternehmen und Wissenschaft genutzt. Die Community hat mehr als 2.500 Pakete entwickelt, die Bausteine zur Erstellung analytischer Modelle darstellen.

Revolution Analytics

Revolution Analytics ist der führende Anbieter für kommerzielle Software und Services basierend auf dem Open Source Projekt R. Das Unternehmen verbindet hohe Leistungsfähigkeit, Produktivität und Verfügbarkeit mit R. Das Kernprodukt Revolution R Enterprise erfüllt die Anforderungen der großen Unternehmen aus den Bereichen Finanzdienstleistungen, Biowissenschaften, Handel, Industrie und Medien an eine Software zur Datenanalyse. Eingesetzt von Branchenführern wie Google, Lloyds und der New York Times hat sich R zu einem Standard für innovative statistische Datenanalyse durchgesetzt. Revolution Analytics unterstützt das anhaltende Wachstum der R Community durch das Sponsoring weltweiter Nutzergruppen und dem Portal Inside-R.org, sowie der freien Version von Revolution R Enterprise für Studenten und Mitarbeiter an Universitäten.

eoda

eoda ist ein IT-Dienstleister, der auf die Analyse von strukturierten und unstrukturierten Daten und die Visualisierung von Ergebnissen spezialisiert ist. Das Portfolio umfasst Beratung, Software-Entwicklung, Integration und Training. eoda ist ein interdisziplinäres Team aus Ingenieuren, Wirtschafts- und Sozialwissenschaftlern sowie Statistik- und IT-Experten. Die Leistungen erstrecken sich über den gesamten Workflow von der Datenerfassung/-erhebung über die Analyse bis zur Interpretation der Ergebnisse. Wir kombinieren fundiertes Wissen über Geschäftsprozesse mit der kompetenten Anwendung der richtigen Analyseverfahren. So schaffen wir strategischen Mehrwert für Unternehmen. Wir helfen Entscheidern, in der Datenflut den richtigen Kurs zu setzen, um Wissen und Chancen zu erschließen. Mit der R-Akademie bietet eoda ein integriertes ganzheitliches Schulungs- und Weiterbildungskonzept für die Welt der Datenanalyse mit R an. Ausgerichtet auf die Bedürfnisse von Anwendern in Unternehmen werden schnell und umfassend praxisrelevante Inhalte vermittelt.

Beispiele für Big Data – “real world cases”

Bereits 2001 sprach Doug Laney (damals META Group, heute Gartner) das erste Mal von „Big Data“.

Zurzeit erfährt das Thema einen regelrechten Hype. Unternehmen sehen sich zunehmend mit einer großen Menge an Daten konfrontiert. Auch in anderen Bereichen, zum Beispiel in Wissenschaft und Politik, wachsen die vorhandenen Datenmengen rasant.

Bietet die zunehmende Menge an Daten auch ein entsprechendes Potential an Nutzen? Und wie lässt sich das Wissen der Daten erschließen und welche Ergebnisse kann man erwarten?

David Smith, Vice President of Marketing and Community bei Revolution Analytics, hat  interessante aktuelle Beispiele zusammengestellt, die aufzeigen, wie mit professioneller Datenanalyse große Datenmengen “zum Sprechen” gebracht werden und Wissen aus Daten generiert wird. In allen Fällen ist R das Werkzeug, mit dem die Daten analysiert werden.

•    Drew Conway, Doktorand der New York University, hat große Mengen Wikileaks-Daten ausgewertet und so Muster in den Aktivitäten der amerikanischen Truppen in Afghanistan erkennbar gemacht. Bestimmte Annahmen konnten mit seinen Ergebnissen bestätigt werden, zum Beispiel dass die Kämpfe saisonalen Schwankungen unterliegen.

•    Die Non-Profit-Organisation Benetech hat im Auftrag von Amnesty International und Human Rights Watch einen riesigen Fundus an Geheimakten der guatemaltekischen Nationalpolizei ausgewertet. Mithilfe der Analysen konnte ein Genozid während des guatemaltekischen Bürgerkriegs zwischen 1960 und 1996 nachgewiesen werden.

•    Der Statistiker und Baseball-Fan Bill James hat die quantitative statistische Analyse bei der Bewertung der Leistung von Baseballspielern eingeführt. Grundlage sind dabei objektive Beweismittel, zum Beispiel wie viele Runs ein Spieler im Laufe einer Saison erzielt. James‘ Methode ist mittlerweile bekannt als „Sabermetrics“.

•    Die US-Regierung hat während der Ölpest im Golf von Mexiko im Jahr 2010 das Statistikprogramm R genutzt, um die Frequenz, mit der Öl ausströmt, möglichst exakt zu bestimmen. Die Gegenmaßnahmen konnten so gezielt auf den Ölfluss abgestimmt werden.

•    Das Unternehmen CardioDX, das auf die Untersuchung von Genomen spezialisiert ist, hat einen Test entwickelt, mit dem es über 100 Millionen Genproben analysieren konnte. So konnten die 23 Gene herausgefiltert werden, an denen frühzeitig eine Störung der Herzarterien erkannt werden kann. Der Test ist nun bekannt als „Corus CAD Test“ und gilt laut Time magazin als einer der „Top 10 Medical Breakthroughs“ in 2010.