Phillip Burr z Lumai – wywiad o rewolucji w obliczeniach optycznych
Phillip Burr pełni rolę Head of Product w firmie Lumai. Ma za sobą ponad 25 lat doświadczenia w międzynarodowym zarządzaniu produktami, strategiach wprowadzania na rynek oraz przywództwie w czołowych firmach z branży półprzewodników i technologii. Jego portfolio obejmuje udane projekty związane z tworzeniem i rozwijaniem produktów oraz usług.
Lumai to brytyjska firma deep tech, która specjalizuje się w rozwoju procesorów optycznych 3D przeznaczonych do przyspieszenia obliczeń związanych ze sztuczną inteligencją. Ich technologia wykorzystuje wiązki światła do wykonywania mnożeń macierzowo-wektorowych w trzech wymiarach, oferując nawet 50-krotnie wyższą wydajność i zużywając przy tym o 90% mniej energii w porównaniu z tradycyjnymi rozwiązaniami opartymi na krzemie. To sprawia, że ich rozwiązanie jest idealne dla zadań inferencji AI, w tym dużych modeli językowych, jednocześnie znacząco obniżając koszty energii i wpływ na środowisko.
Co zainspirowało powstanie Lumai i jak pomysł ewoluował z badań na Uniwersytecie Oxfordzkim do komercyjnego przedsięwzięcia?
Początek tej historii sięga czasów, gdy jeden z założycieli Lumai, dr Xianxin Guo, otrzymał stypendium badawcze 1851 Research Fellowship na Uniwersytecie Oxfordzkim. Recenzenci projektu dostrzegli potencjał obliczeń optycznych i zapytali, czy Xianxin rozważy opatentowanie technologii oraz założenie firmy, jeśli badania zakończą się sukcesem. To zapaliło iskrę w głowie Xianxina. Gdy on oraz drugi współzałożyciel Lumai, dr James Spall, udowodnili, że wykorzystanie światła do kluczowych obliczeń AI może znacząco zwiększyć wydajność i zmniejszyć zużycie energii, droga do komercjalizacji była otwarta. Zdawali sobie sprawę, że tradycyjne rozwiązania krzemowe mają problemy ze zwiększaniem wydajności bez jednoczesnego wzrostu poboru mocy i kosztów. Gdy znaleźli sposób na rozwiązanie tego problemu za pomocą obliczeń optycznych, wiedzieli, że ich produkt znajdzie nabywców. Przedstawili swój pomysł inwestorom venture capital, którzy wsparli ich w założeniu Lumai. Firma niedawno zamknęła drugą rundę finansowania, pozyskując ponad 10 mln dolarów i przyciągając nowych inwestorów wierzących w skalowalność obliczeń optycznych w obliczu rosnących wymagań AI.
Masz imponującą karierę w firmach takich jak Arm czy indie Semiconductor – co skłoniło Cię do dołączenia do Lumai na tym etapie?
Odpowiedź jest prosta: zespół i technologia. Lumai zgromadziło wybitny zespół ekspertów w dziedzinie optyki, uczenia maszynowego i centrów danych, z doświadczeniem zdobytym w firmach takich jak Meta, Intel, Altera, Maxeler, Seagate czy IBM (do tego dochodzi moje własne doświadczenie z Arm, indie, Mentor Graphics i Motoroli). Wiedziałem, że tak utalentowani ludzie, skupieni na rozwiązaniu problemu wysokich kosztów inferencji AI, mogą osiągnąć niesamowite rzeczy.
Głęboko wierzę, że przyszłość AI wymaga nowych, przełomowych rozwiązań w dziedzinie obliczeń. Możliwość zaoferowania 50-krotnie większej wydajności obliczeniowej AI przy jednoczesnym obniżeniu kosztów inferencji do 1/10 obecnych rozwiązań była zbyt dobrą okazją, aby ją przegapić.
Z jakimi wyzwaniami technicznymi i biznesowymi zmagał się zespół założycielski podczas przejścia od przełomu badawczego do gotowego produktu?
Przełom w badaniach potwierdził, że optyka może być wykorzystana do szybkiego i bardzo wydajnego mnożenia macierzowo-wektorowego. Mimo to największym wyzwaniem było przekonanie ludzi, że Lumai może odnieść sukces tam, gdzie inne startupy optyczne poniosły porażkę. Musieliśmy wyjaśniać, że nasze podejście jest zupełnie inne – zamiast polegać na pojedynczym układzie 2D, wykorzystujemy optykę 3D, aby osiągnąć odpowiednią skalę i efektywność. Oczywiście droga od badań laboratoryjnych do technologii gotowej do wdrożenia w centrach danych jest długa. Wcześnie zrozumieliśmy, że kluczem do sukcesu jest zatrudnienie inżynierów z doświadczeniem w rozwoju produktów produkowanych na masową skalę i przeznaczonych dla centrów danych. Drugim ważnym obszarem było oprogramowanie – musieliśmy zapewnić kompatybilność z popularnymi frameworkami AI oraz dostarczyć narzędzia ułatwiające integrację dla programistów.
Technologia Lumai wykorzystuje 3D optyczne mnożenie macierzowo-wektorowe. Czy możesz wyjaśnić to w prosty sposób?
Systemy AI wymagają wielu obliczeń matematycznych, zwanych mnożeniem macierzowo-wektorowym. To właśnie one napędzają działanie AI. W Lumai wykonujemy te obliczenia za pomocą światła zamiast elektryczności. Oto jak to działa:
- Kodujemy informacje w wiązkach światła
- Wiązki te przemieszczają się w przestrzeni trójwymiarowej
- Światło oddziałuje z soczewkami i specjalnymi materiałami
- Te interakcje wykonują potrzebne obliczenia matematyczne
Dzięki wykorzystaniu trzech wymiarów przestrzeni możemy przetwarzać więcej informacji za pomocą każdej wiązki światła. To sprawia, że nasze rozwiązanie jest niezwykle wydajne – zmniejsza zużycie energii, czasu i kosztów potrzebnych do działania systemów AI.
Jakie są główne zalety obliczeń optycznych w porównaniu z tradycyjnymi GPU opartymi na krzemie, a nawet zintegrowaną fotoniką?
Tempo postępu w technologiach krzemowych znacznie zwolniło. Każdy wzrost wydajności procesorów AI opartych wyłącznie na krzemie (np. GPU) wiąże się ze znacznym wzrostem poboru mocy. Takie rozwiązania zużywają ogromne ilości energii i osiągają coraz mniejsze korzyści, co czyni je niezwykle skomplikowanymi i drogimi. Zaletą optyki jest to, że w domenie optycznej praktycznie nie ma zużycia energii. Energia jest potrzebna tylko do przejścia do domeny optycznej, ale np. w procesorze Lumai możemy wykonać ponad 1000 operacji obliczeniowych dla każdej wiązki światła w jednym cyklu, co czyni go bardzo wydajnym. Takiej skalowalności nie da się osiągnąć za pomocą zintegrowanej fotoniki ze względu na ograniczenia fizyczne i szumy sygnału – obecne rozwiązania fotoniczne osiągają zaledwie 1/8 wydajności Lumai.
W jaki sposób procesor Lumai osiąga niemal zerowe opóźnienia inferencji i dlaczego to takie ważne dla współczesnych obciążeń AI?
Choć nie twierdzimy, że nasz procesor ma zerowe opóźnienia, to wykonuje on bardzo duże operacje mnożenia macierzowo-wektorowego (1024 x 1024) w jednym cyklu. Rozwiązania oparte wyłącznie na krzemie dzielą macierze na mniejsze części, które są przetwarzane etapami, a wyniki muszą być później łączone. To zajmuje czas i wymaga więcej pamięci oraz energii. Skrócenie czasu, zmniejszenie zużycia energii i obniżenie kosztów przetwarzania AI jest kluczowe, aby więcej firm mogło korzystać z AI w sposób zrównoważony.
Czy możesz opisać, w jaki sposób wasz procesor w formacie PCIe integruje się z istniejącą infrastrukturą centrów danych?
Procesor Lumai wykorzystuje karty w standardzie PCIe, współpracujące ze standardowym CPU, zamknięte w obudowie 4U. Pracujemy z dostawcami wyposażenia centrów danych, aby nasze rozwiązanie było z nimi kompatybilne. Korzystamy ze standardowych interfejsów sieciowych i oprogramowania, więc z zewnątrz nasz procesor wygląda jak każdy inny procesor w centrum danych.
Zużycie energii przez centra danych to rosnący problem. Jak Lumai pozycjonuje się jako zrównoważone rozwiązanie dla obliczeń AI?
Zużycie energii przez centra danych rośnie w zastraszającym tempie. Według raportu Lawrence Berkeley National Laboratory, do 2028 roku zużycie energii przez centra danych w USA może się potroić, sięgając nawet 12% krajowego zapotrzebowania. Niektórzy operatorzy rozważają nawet budowę elektrowni jądrowych, aby zaspokoić te potrzeby. Branża musi szukać alternatywnych rozwiązań dla AI, a my wierzymy, że optyka jest odpowiedzią na ten kryzys energetyczny.
W jaki sposób architektura Lumai unika ograniczeń skalowalności obecnych rozwiązań krzemowych i fotonicznych?
Wydajność pierwszego procesora Lumai to dopiero początek możliwości. Spodziewamy się, że nasze rozwiązanie będzie oferować kolejne skoki wydajności poprzez zwiększenie częstotliwości zegara optycznego i szerokości wektorów – bez odpowiedniego wzrostu zużycia energii. Żadne inne rozwiązanie nie jest w stanie tego osiągnąć. Tradycyjne podejścia krzemowe będą wymagać coraz więcej mocy i kosztów dla każdego wzrostu wydajności. Zintegrowana fotonika nie może osiągnąć potrzebnej szerokości wektorów, dlatego firmy, które wcześniej rozwijały tę technologię dla centrów danych, przeniosły się do innych obszarów, takich jak optyczne połączenia czy przełączanie.
Jaką rolę Twoim zdaniem odegrają obliczenia optyczne w przyszłości AI i całej branży obliczeniowej?
Optyka będzie odgrywać ogromną rolę w centrach danych – od optycznych połączeń, przez sieciowanie i przełączanie, po przetwarzanie AI. Rosnące wymagania AI są głównym motorem tego przejścia w kierunku optyki. Optyczne połączenia umożliwią szybszą komunikację między procesorami AI, co jest kluczowe dla dużych modeli. Optyczne przełączanie poprawi efektywność sieci, a obliczenia optyczne zapewnią szybsze, bardziej energooszczędne i tańsze przetwarzanie AI. Wszystko to pomoże w rozwoju zaawansowanej AI, pokonując ograniczenia wynikające ze spowolnienia rozwoju technologii krzemowych po stronie obliczeń oraz ograniczeń miedzianych połączeń.
Dziękujemy za interesujący wywiad. Czytelnicy, którzy chcą dowiedzieć się więcej, mogą odwiedzić stronę Lumai.