Pokazywanie postów oznaczonych etykietą bazy danych. Pokaż wszystkie posty
Pokazywanie postów oznaczonych etykietą bazy danych. Pokaż wszystkie posty

12 grudnia 2012

Drizzle - chudy MySQL bez bajerow nie dla frajerow

Ten post traktujcie jako notatki ulatwiajace zainteresowanie sie alternatywnym silnikiem podobnym do MySqla jakim jest Drizzle:

http://www.learningdrizzle.com/

http://drizzle.org/wiki/User_Documentation
http://drizzle.org/wiki/Hudson


Film pilotarzowy

http://blip.tv/file/2559412/

http://www.google.pl/search?q=drizzle+vs+mysql&hl=pl&ei=tidbTM2GOZObOPKgzZYP&start=10&sa=N
- wstepniak n.t. tego dlaczego NIEwarto walczyc czasem z baza MySql, gdy mamy wiele polaczen
- przedstawienie cech mikrojader
- rekomendacja usuniecia zbednych funkcji z drizzle
- rekomendacja podejscisa kodowania drizzle
- rekomendacje farm / chmur, gdzie drizzle lub CassandraDB dziala jako podstawowa baza danych
- dlaczego Oracle sie boii drizzle
http://www.bluegecko.net/oracle/oracle-mysql-mariadb-and-drizzle-oh-my/
http://birdhouse.org/blog/2008/07/24/drizzle-vs-oracle/
- opisac sukces postawienia wordpressa na drizzle
http://michaelshadle.com/2009/05/14/porting-wordpress-to-drizzle-will-i-succeed/
- Drizzle and Gearman => PHP API's
http://pdxphp.org/2009/08/meetings/drizzle-gearman-and-their-php-apis/
- optymalizacja budowania z cygwin
http://www.thedeveloperday.com/building-drizzle-on-cygwin-or-getting-as-far-as-possible/
- pozytywne wiesci z polaczenia Drizzle i Gearman
http://oddments.org/?p=282



Instalacja drizzle PHP + Ubuntu
http://tumblelog.jauderho.com/post/99455263/compiling-drizzle-on-ubuntu

http://bryans.tistory.com/entry/Ubuntu-910%EC%97%90%EC%84%9C-drizzle-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0

benchmarki
https://lists.launchpad.net/drizzle-discuss/msg03687.html

Materiały:
http://osnews.pl/drizzle-lekka-wersja-mysql-dla-webu/
http://www.networkworld.com/news/2010/051810-suns-stars-where-are-they.html?page=3
http://www.networkworld.com/news/2010/030910-rackspace-hires-to-align-with.html
http://www.networkworld.com/search/index.html?cx=014839440456418836424:mzedprvnwmy&cof=FORID:9&ie=UTF-8&q=podcast&x=0&y=0
http://dev.mysql.com/tech-resources/interviews/stewart-smith.html
http://news.oreilly.com/2008/07/mysql-forks-could-drizzle-be-t.html
http://oddments.org/?p=430
http://oddments.org/?p=349


http://webhosting.pl/Drizzle:.wersja.MySQL.przystosowana.do.aplikacji.sieciowych.

https://code.launchpad.net/~mordred/percona-xtradb/drizzle-release-merge

5 sierpnia 2010

"Idziemy na zachód" z NoSQL

Definiując noSQL warto zaznaczyć, że nie chodzi tutaj o niniejszy jakiś żart. O ile specjaliści od T-SQL i posiadacze stu certyfikatów ORACLE myślą inaczej, są rekomendacje płynące chociażby z digg.com, facebook.com, yahoo,com ale od zawsze z google.com potwierdzające, że trend noSQL ma sens w przetwarzaniu i składowaniu dużej ilości danych. Mając na myśli dużej mam na myśli setki Gigabahjtów, Terabajty i Petabajty ... i nie jest to wcale SF :-) Problem jak zwykle dotyczy skali i oczywiście dotyczy grupowania i złączania danych z różnych źródeł i baz. Tutaj składnia ... JOIN ... może okazać się nieco zasobożerna i nie na miejscu ;-) W miejsce, gdzie nie można robić SELECT i LIMIT + OFFSET + JOIN lub zwyczajne zapytania wykonują się zbyt długo, a CRON + memcached nie wystarczy potrzebne są bazy danych noSQL do składowania i mechanizmy Map Reduce do agregacji i łączenia danych dla osiągnięcia pożądanych wyników. Oczywiście że nie istnieje jedna baza do wszystkich zastosowań ... oto pomocnik w wyborze bazy noSQL.




Od 2001 roku, od kiedy to przyszło mi korzystać produkcyjne z bazy danych mySQL nie miałem pojęcia, że używam idei noSQL. Moja baza danych to było składowisko danych pomiarowych z różnej maści mierników elektronicznych oraz różnego typu alarmów, przy przekraczaniu zakresów. Napisałem wspólnie z kolegą z zespołu sterownik do składowania danych binarnie, ale z ideą podobną jak DBASE IV. Okazało się, że silnik i sterownik naszej bazy świetnie się sprawdzał i działał zgodnie z założeniami w wielowątkowym środowisku. Jednak potrzeba przetwarzania danych zmusiła mnie do przechowywania danych w bazie SQL, aby wykonywać prościej rankingi na danych. Wówczas ideę złączeń należało po prostu odrzućić ... nie będę tłumaczył powodów, dla których mySQL 3.28.x się wtedy zamulał przy złożonych JOINach ;-) Ważne, że założenie to było słuszne jak na rok 2001 i PHP 3.x.

Patrząc z perspektywy czasu uświadomiłem sobie, że utworzyłem w mySQL coś takiego jak mój własny noSQL. Składowałem dane w kolumnach, ale również utworzyłem superkolumny z pól tekstowych, w które wpisywałem oddzielone identyfikatorami wartości powiązanych danych. Dane były wiązane we wręcz prostacki sposób, ale taka metoda pozwalała - zamiast stosowania JOINów - przetwarzanie źródłowych danych z pomiarów do postaci pośredniej przez 6h a nie 11h. Jak na tamte czasy i koszty hostingu/dedykowanych serwerów było to znacząco optymalne podejście.

Współcześnie widzę trend dość podobny (z ang. structured storage) i równie banalny w zastosowaniu tzn. używanie "superkolumn" w składowaniu danych w ramach tej samej kolumny. Dodawanie zamiast relacji niejako "nadmiarowych" i zarazem powiązanych danych w wierszu, które podlegają wydajniejszemu wyszukiwaniu niżeli tradycyjne metody z baz SQL. Nie zawsze mogą konkurować z zewnętrznym indeksem opartym na rozwiązaniu t.j. Apache Lucene.

Rozwiązań serwujących ideę noSQL jest sporo i po pełną listę zapraszam do odpowiedniego źródła, któro porównuje i próbuje skatalogować bazy danych noSQL.

3 marca 2010

Spore możliwości wirtualnych arkuszy kalkulacyjnych Google oraz Yahoo pipes

Chciałbym poruszyć temat Yahoo pipes oraz Google Spreadsheeats. Oba produkty wydają mi się bardzo trafione i ponadczasowe.
Pierwszy produkt, Yahoo Pipes to graficzny edytor do zbudowania przetwarzania zdarzeń z sieci, który może spokojnie np: przeglądać za nas fora internetowe, czy kanały informacyjne RSS i na wyjściu na podstawie filtrów zwracać nam listę w postaci naszego kanału RSS z odsianymi ze śmieci informacjami.
Nie można lekceważyć mocy takiego darmowego narzędzie i zaznaczam, że są chętni do napisania botów internetowych, które odpowiadają na tweety za pomocą Yahoo Pipes. Oto zrzut ekranu takiego kreatywnego projektu bota bez żadnej linijki typowego kodu:


Drugie narzędzie to Google Spreadsheets, który jest akruszem kalkulacyjnym przyszłości i niewątpliwie Excel znany spod M$ zniknie niebawem z desktopu. Miejmy nadzieję, że przed 2020 rokiem, bo inaczej prognozy postępu technologicznego będą się ciągnęły jak krew z nosa :-)
Już dzisiaj można spokojnie używać Google Spreadsheets jako podręcznej rozproszonej w sieci bazy danych i wśród narzędzi firmy Google powstaje zdrowy trend do ujpójniania API różnych produktów. Zakładam, że za kilka lat będzie możliwe kreślenie nie tylko na mapie punktów związanych z danymi w Google Spreadsheets, ale też będą one wystawiane na znanym nam endpoincie HTTP. Wierzę w moc Google APIs.
Poniżej przykład danych w darmowej chmurze, czyli w Google Sppreadsheets oraz ciekawy wpis n.t. tego jak zrobić data scraping z wikipedia z użyciem Google Spreadsheets.

21 lutego 2008

Amazon SimpleDB - taka prostota baza danych od giganta

Każdego kto zajmującego się technologiami internetowymi, jak również "potencjalnego zjadacza bajtów" :) może zainteresować podejście do tematu prostych rozproszonych baz danych jakie oferują duże firmy. Firma Amazon w minionym roku wyszła naprzeciw z alternatywą Amazon SimpleDB i o tym właśnie rozwiązaniu jest niniejszy wątek.

Istnieją technologie tzw. rozproszone - bo o nich mowa - cechują się z punktu widzenia klienta:
- nieskończoną mocą obliczeniową
- nieograniczonym rozmiarem macierzy dyskowych
- szerokim pasmem transferu
- dowolną liczbą wirtualnych serwerów (zarówno różnych systemów operacyjnych, oczywiście nie mylić z M$)


Oto kilka linków zgromadzonych na ten temat

http://www.informationweek.com/news/software/soa/showArticle.jhtml?articleID=204803008

http://www.sriramkrishnan.com/blog/2007/12/amazon-simpledb-technical-overview.html

http://www.amazon.com/Success-Stories-AWS-home-page/b?ie=UTF8&node=182241011

http://www.informationweek.com/news/internet/showArticle.jhtml?articleID=201300517

http://www.informationweek.com/news/management/showArticle.jhtml?articleID=190302909

http://www.informationweek.com/news/internet/ebusiness/showArticle.jhtml?articleID=193700262

http://developer.amazonwebservices.com/connect/kbcategory.jspa?categoryID=148