Onderzoekers van de Database Architecture-groep aan het Centrum Wiskunde & Informatica in Amsterdam hebben een databasesysteem ontwikkeld dat snel een grote continue stroom data kan analyseren. De onderzoekers combineren een systeem voor streaming met een database-systeem, en benutten zo de voordelen van beide technologieën. Onderzoeker Erietta Liarou verdedigt komende dinsdag 22 januari haar proefschrift over deze nieuwe technologie aan de Universiteit van Amsterdam.
Gebieden zoals de financiële wereld, wetenschap en IT genereren dagelijk vele terabytes aan data. Talloze toepassingen, zoals beurshandel, wetenschappelijk onderzoek en de online advertentiemarkt, zijn afhankelijk van analyses van deze grote datastromen. Het real-time verwerken van deze data in plaats van opslaan en later analyseren heeft grote voordelen. Beurshandelaren zouden dan bijvoorbeeld verschillende aandelen kunnen laten monitoren, en een signaal krijgen als een bepaalde correlatie optreedt.
Huidige databasesystemen zijn echter niet toegerust voor continue verwerking van data, en streaming-systemen kunnen slecht omgaan met grote datahoeveelheden. Liarou en haar collega's lossen dit op een innovatieve manier op door streaming-functionaliteit in te bouwen in MonetDB, het databasemanagementsysteem voor big data dat op het CWI ontwikkeld wordt. Het resulterende MonetDB/DataCell-systeem integreert opslag en analyse van data in hetzelfde systeem en kan een grote datastroom real-time analyseren. Bij grote hoeveelheden data presteert het beter dan commerciële systemen.
Big Data-onderzoek is onderdeel van onderzoeksthema Informatie van het CWI. Deze onderzoekslijn ontwikkelt methoden en technologieën om betekenisvolle informatie te genereren uit grote hoeveelheden data.
Proefschrift: 'MonetDB/DataCell: Leveraging the Column-store Database Technology for Efficient and Scalable Stream Processing'
Door: Erietta Liarou (CWI Database Architectures-groep)
Promotor: prof. dr. M.L. Kersten (CWI/UvA)
Co-promotor : dr. S. Manegold (CWI)
Datum: Dinsdag 22 januari 2013, 14.00
Locatie: Agnietenkapel, Oudezijds Voorburgwal 231, Amsterdam
Meer informatie:
Download thesis
Homepage Database Architectures-groep
Homepage Erietta Liarou
MonetDB
Nieuwsbericht UvA
De DataCell-extensie for MonetDB is open source en beschikbaar als download (beta versie)
