Jak stworzyć własną platformę pocztową? Rozmawiamy ze Stefanem Jurczykiem, architektem systemu w home.pl

Firma home.pl zakończyła niedawno wdrożenie nowego systemu poczty e-mailowej. Nie byłoby w tym nic dziwnego, gdyby nie fakt, że home.pl napisał nie tylko własnego webmaila, ale również serwer IMAP. O wyzwaniach, projektowaniu systemów i szansie stworzenia alternatywy dla Exchange’a, rozmawiamy ze Stefanem Jurczykiem z home.pl.

Dariusz Nawojczyk: Nowy webmail w ofercie home.pl to aplikacja, która od podstaw powstała wewnątrz firmy. Dlaczego zdecydowaliście się na takie rozwiązanie? Przecież na rynku nie brakuje gotowych klientów poczty online, które hosterzy mogą zaoferować swoim klientom.

Stefan Jurczyk: Powodów jest kilka. Na pewno głównym czynnikiem była konieczność dopasowania nowego elementu platformy do naszych potrzeb. System z jednej strony musiał bowiem obsługiwać dość dużą listę funkcji, z drugiej zaś musiał być jak najprostszy i przyjazny w obsłudze dla użytkowników końcowych. Musiał także pasować do określonej ścieżki rozwoju naszej oferty i usług. Do tego doszła długa lista wymogów technicznych związanych z wydajnością, skalowalnością, bezpieczeństwem, perspektywą rozwoju, kompatybilnością z istniejącą platformą hostingową i oczywiście możliwością migracji z poprzedniego systemu pocztowego.

Czy aż tak trudno było znaleźć coś pasującego i spełniającego te wymagania?

Zdziwisz się, ale tak. Czym innym jest znalezienie platformy pocztowej do obsługi poczty dla jednej firmy lub instytucji, z której będzie korzystało - powiedzmy - nawet kilkadziesiąt czy kilkaset osób, i zdecydowanie czym innym jest znalezienie platformy, z której aktywnie będzie korzystało prawie 200 tysięcy firm i ponad 700 tysięcy użytkowników. I co waże - istniejących już użytkowników, którzy korzystali z poprzedniej platformy.

Przebrnęliśmy przez testy ponad 20 rozwiązań dostępnych na rynku - większość z nich odpadała zazwyczaj po kilku lub kilkunastu minutach zabawy demo udostępnionym na stronie WWW producenta. Rozwiązania te miały słabą funkcjonalność lub też fatalny interfejs użytkownika. Do głębszej analizy przedostało się pięć rozwiązań - jednak i tu żadne (wówczas) nie spełniało wszystkich naszych wymogów, zazwyczaj technicznych lub licencyjnych.

Jak więc poradziliście sobie z kwestią skalowalności? System już w momencie startu miał obsługiwać setki tysięcy połączeń.

Wbrew pozorom okazało się to bardzo proste. Podjęliśmy decyzję, że cały „storage", który webmail potrzebuje dla swojej pracy, będzie przechowywany po stronie serwera poczty, a konkretnie po stronie protokołu, z którym webmail się komunikuje.

Padła decyzja o wyborze protokołu IMAP i dobudowania do niego kilku funkcjonalności, które potrzebowali nasi klienci. Dzięki temu pomiędzy naszym systemem pocztowym a skrzynką klienta nie ma żadnej bazy MySQL, która przechowywałaby kopie. Dlatego też dane, które są wyświetlane w webmailu, są to zawsze dane "na żywo" pobierane z serwerów IMAP. W ten sposób odpadł nam również problem synchronizacji.

Który z serwerów protokołu IMAP postanowiliście użyć?

No dobrze, serwer IMAP też napisaliśmy sami. Stworzyliśmy go w tej samej technologii, co nasz serwer WWW. Głównym powodem takiego podejścia była kwestia możliwości łatwego realizowania własnych rozszerzeń, dzięki czemu webmail może realizować dość rozbudowane zapytania.

A zaczęło się od tego, że napotkaliśmy po drodze problem z wydajnością. Ponieważ w nowym systemie nie ma warstwy pośredniczącej i webmail jest bezustannie połączony z serwerem IMAP, każda operacja w webmailu przekształca się na ciąg operacji IMAP-owych, które są wykonywane w czasie rzeczywistym.

Okazało się, że większość serwerów IMAP dostępnych na rynku Open Source jest po prostu zbyt wolna - to niezwykle ciężkie aplikacje, które zazwyczaj nie korzystają nawet z indeksowania, więc nie radziły sobie również w naszym środowisku. Najszybszy serwer, który udało nam się znaleźć, to Dovecot, ale w testach - co tu dużo mówić - odpadł również bardzo szybko.

Nie mieliśmy wyjścia - skończyło się na własnym formacie skrzynki pocztowej, na własnym formacie indeksów i na własnym serwerze IMAP. Można powiedzieć, że uzupełniliśmy sobie portfolio, bo przecież już wcześniej mieliśmy własny serwer WWW i POP3.

«poprzednia 1 2 następna »

Podoba Ci się ten tekst? Powiedz o tym innym na Fb: lub na G+:

publikuj:

wydrukuj

12 skomentuj »

Komentarze

#1 kikut 2010-06-04 10:31:27 0
czy ze zdjecia mozna wnioskowac, ze to bylo robione na mac os? czy moge dopytac, jak sie tam programuje?

ten wywiad tez pokazuje, stara prawde, że jak cos jest do wszystkiego, to jest do niczego. wszystkie gotowe systemy musza byc customizowane, dobrym przykladem jest sap - niby taki standardowy, a wdrażany przez dziesięciolecia

czasem lepiej cos zrobic samemu
IP: 188.121.11.[...] Mozilla/5.0 (Windows; U; Windows NT 6.0; pl; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 (.NET CLR 3.5.30729)
#2 soran - Michał K. 2010-06-04 17:01:39 0
Hmm to może dlatego nie moge skonfigurować poczty z home.pl na moim Nokia 5800 w połączeniu po IMAP :/

Z gmail-em nie ma problemu, a próba połączenia się z home.pl kończy sie zwisem i restartem aplikacji do poczty :/ i koniecznością restartu telefonu aby funkjonował on poprawnie :)

Można zgłości gdzieś do home.pl opis tej sytuacji - bo naprawde potrzebowal bym IMAPA działającego poprawnie, bo obecnie wykożystuje POP3 :(

Naprawde super ze napisaliście własnego IMAP-a :)
IP: 95.51.110.[...] Mozilla/5.0 (Windows; U; Windows NT 5.1; pl-PL; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 (.NET CLR 3.5.30729) FirePHP/0.4
#3 finrod^® 2010-06-05 22:18:55 0
Od dawien, dawna korzystam m.in. z płatnej poczty w home.pl, bo ma ogromną przewagę nad pocztą bezpłatną w zakresie bezpieczeństwa czy gwarancji ciągłości świadczenia usługi.

Ale przejścia na nowy system pocztowy nie oceniam dobrze. Kiedyś na starym systemie nie widziałem przez kilka lat ani jednego spamu, a po zmianie spam się pojawił, po kilka sztuk na miesiąc. Podobnie na koncie Żony.

Tak więc architektura, architekturą, ale zadowolony nie jestem.
IP: 90.156.6.[...] Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; en-GB)
#4 aaa 2010-06-06 12:23:55 0
dla mnie to jakieś nieporozumienie ..

jak można nie umożliwiać przeszukiwania po treści wiadomości ?

przecież to najpopularniejsza funkcja z jakiej korzystam przy dużej ilości maili...
IP: 62.152.139.[...] Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.1 (KHTML, like Gecko) Chrome/6.0.422.0 Safari/534.1
#5 Andrzej P 2010-06-06 13:11:27 0
Dokładnie, to samo trzyma mnie przy GApps, szczegolnie jak juz po tylu latach udalo sie udostepnic IMAP :)

Z drugiej strony - nie znam wygodnej i w 100% wiarygodnej metody migracji 5GB konta z GApps do home.pl - ktos ma jakies pomysly na przyszlość? :)
IP: 77.46.35.[...] Mozilla/5.0 (Windows; U; Windows NT 6.0; pl; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 ( .NET CLR 3.5.30729)
#6 markoni 2010-06-06 20:11:09 0
ja, żeby obsłużyć moje 8 GB poczty i wyszukiwanie tak musiałem zainstalować XOBNI do Outlooka, żeby się cokolwiek wyrabiało z szukaniem po treści, bo sam Outlook sobie nie radził

no a porównywanie home.pl z Google i moce obliczeniowe obu firm to chyba też nie jest dobry pomysł - przypomnę tylko tę infografikę: http://www.sneakythinkings.com/wp-content/uploads/2010/04/500x_most-dedicated-servers.jpg

jak na polskie warunki więc poczta home.pl jest całkiem solidna, IMAP na mobile'u też mi śmiga, fajnie że chłopaki coś robią
IP: 188.121.11.[...] Mozilla/5.0 (Windows; U; Windows NT 6.0; pl; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3 (.NET CLR 3.5.30729)
#7 KubaG 2010-06-07 10:59:05 0
Nowy webmail średnio mi się podoba, jak dla mnie jest mało przyjazny (od strony wizualnej i obsługi)... Nie można np. dodawać wielu załączników jednocześnie, nie ma tak banalnej opcji jak "potwierdzenie dostarczenia wiadomości" (tak samo jak alert potwierdzenia nie wyświetla się w mailach przychodzących), książka adresowa też średnia... In plus można zaliczyć użycie TinyMCE do formatowania treści maila (w końcu). Niemniej starszy webmail bardziej mi się podobał :)

Co do nowego IMAP-a i całej architektury, to widzę i oceniam, że śmiga sprawnie i poprawnie. Brak zastrzeżeń :)
IP: 83.15.238.[...] Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.2.3) Gecko/20100401 Firefox/3.6.3
#8 lolka 2010-06-07 12:46:01 0
"Firma home.pl zakończyła niedawno wdrożenie nowego systemu poczty e-mailowej. Nie byłoby w tym nic dziwnego, gdyby nie fakt, że home.pl napisał nie tylko własnego webmaila "

Mam konto na home od Bardzo Wielu Lat i niestety ostatnie zmiany spowodowały, że mam ochotę zakończyć współpracę.

1) Limit 15MB bodajże wysyłania załączników z webmaila - WTF??? Darmowe konta pozwalają na o wiele więcej, z zresztą w home też wcześniej takiego limitu nie było.

2) Dziwne rzeczy się dzieją z tekstem po dodaniu załącznika, a poprawienie tego, co wysiwyg zepsuł jest skutecznie przezeń utrudniane.

3) Spam - i owszem.

4) Spróbujcie wkleić coś z Worda, a potem zapytajcie, co odbiorca maila otrzymał...

To jest kolejny przykład na to, że pisanie od nowa czegoś, co istnieje i działa dobrze, najczęściej mija się z celem.

MySQLa też zdaje się napisali sobie od nowa - dzięki czemu triggery są niedostępne (o czym klient może się przekonać, jak już kupi konto, a nie z dokumentacji...).
IP: 213.192.88.[...] Opera/9.80 (X11; Linux x86_64; U; en) Presto/2.5.24 Version/10.53
#9 M... 2010-06-08 16:31:50 0
lolka:

> MySQLa też zdaje się napisali sobie od nowa - dzięki

> czemu triggery są niedostępne (o czym klient może się

> przekonać, jak już kupi konto, a nie z dokumentacji...).

Niech klient podziękuje za to developerom MySQLa :P Do wersji 5.1.6 MySQLa użytkownik potrzebuje uprawnienia SUPER do tworzenia triggerów. Na hostingu współdzielonym nikt Ci tego nie da.
IP: 78.133.245.[...] Mozilla/5.0 (X11; U; Linux x86_64; en-US) AppleWebKit/533.2 (KHTML, like Gecko) Chrome/5.0.342.9 Safari/533.2
#10 xyz 2010-06-10 20:15:53 0
@Stefan: przesłaliście chociaż informacje o napotkanych problemach autorom dovecota?
IP: 89.77.217.[...] Opera/9.80 (X11; Linux x86_64; U; pl) Presto/2.5.28/2.5.23 Version/10.60
#11 trolololo 2010-06-11 18:25:29 0
niestety tytuł wprowadza w błąd.

poza obejrzeniem sobie fotki tegoż pana Stefana MACiem (nie wiem, co ma ten mac do serwerów?), to wciąż nie wiem "Jak stworzyć własną platformę pocztową".

Rozumiem, iż będzie kontynuacja tego tekstu?
IP: 188.146.244.[...] Opera/9.80 (Windows NT 6.0; U; pl) Presto/2.2.15 Version/10.00
#12 robson__ 2010-06-13 22:04:05 0
szkoda że nie ma mioni www dla personalnych kont
IP: 78.88.167.[...] Mozilla/5.0 (Windows; U; Windows NT 5.1; pl; rv:1.9.2.4) Gecko/20100527 Firefox/3.6.4

Aby dodać komentarz, musisz podać swój nick, treść komentarza oraz poprawnie przepisać oba słowa z obrazka (słowa muszą być rozdzielone spacją).
W treści komentarza można używać języka formatowania BBcode.