Ved Google I/O 2023 afslørede søgegiganten endelig PALM 2dens seneste store sprogmodel til generelle formål. PaLM 2 er fundamentet, hvorpå flere Google-produkter nu bygges, inklusive Google Generative AI Search, Duet AI i Google Docs og Gmail, Google Bard og mere. Men hvad er Google PaLM 2 AI-modellen egentlig? Er det bedre end GPT-4? Understøtter det plugins? For at besvare alle dine spørgsmål, gå gennem vores detaljerede forklaring på PaLM 2 AI-modellen udgivet af Google.
Hvad er Googles PaLM 2 AI-model?
PaLM 2 er den seneste store sprogmodel (LLM) udgivet af Google, som er yderst dygtig til avanceret ræsonnement, kodning og matematik. Det er også flersproget og understøtter mere end 100 sprog. PaLM 2 er en efterfølger til den tidligere Pathways Language Model (PaLM), der blev lanceret i 2022.
Den første version af PaLM blev trænet på 540 milliarder parametre, hvilket gør den til en af de største LLM’er. I 2023 kom Google dog med PaLM 2, som er meget mindre i størrelse, men den er hurtigere og mere effektiv end konkurrenterne.
I PALM 2’er 92 siders teknisk rapportGoogle har ikke nævnt parameterstørrelsen, men ifølge en TechCrunch rapporten af de PaLM 2-modeller er kun trænet på 14,7 milliarder parametrehvilket er langt mindre end PaLM 1 og andre konkurrerende modeller. Nogle forskere på Twitter siger, at den største PaLM 2-model sandsynligvis er trænet på 100 milliarder parametre, hvilket stadig er meget lavere end konkurrenterne.
For at give dig en idé, siges OpenAI’s GPT-4-model at være trænet på 1 billion parametre, hvilket bare er fantastisk. GPT-4-modellen er mindst 10 gange større end PaLM 2.
Hvordan Google gjorde PaLM 2 mindre?
I den officiel blogsiger Google, at større ikke altid er bedre, og at research-kreativitet er nøglen til at lave fantastiske modeller. Her, med “research creativity”, refererer Google sandsynligvis til Reinforcement Learning from Human Feedback (RLHF), beregningsoptimal skaleringog andre nye teknikker.
Google har ikke afsløret, hvilken forskningskreativitet det bruger i PaLM 2, men det ser ud til, at virksomheden muligvis bruger LoRA (Low-Rank Adaptation)instruktionsjustering og kvalitetsdatasæt for at få bedre resultater på trods af brug af en relativt mindre model.
Samlet set er PaLM 2 en LLM-model, dvs hurtigere, relativt mindre og omkostningseffektivt fordi det tjener færre parametre. Samtidig bringer det kapaciteter såsom sund fornuft, bedre logikfortolkning, avanceret matematik, flersproget samtale, kodningsbeherskelse og meget mere. Det var det grundlæggende i PaLM 2-modellen, lad os nu gå videre og lære om dens funktioner i detaljer.
Hvad er de vigtigste funktioner i PaLM 2?
Som nævnt ovenfor er PaLM 2 hurtigere, meget effektiv og har lavere serveringsomkostninger. Bortset fra det bringer det flere avancerede muligheder. Til at begynde med er PaLM 2 meget god til sund fornuft ræsonnement. Google siger faktisk, at PaLM 2s ræsonnement er konkurrencedygtig med GPT-4. Ved at teste i WinoGrande commonsense-testen opnåede PaLM 2 90,2, mens GPT-4 opnåede 87,5. I ARC-C testen scorer GPT-4 et hak højere og opnår 96,3, mens PaLM 2 scorer 95,1. I andre ræsonnementstes, inklusive DROP, StrategyQA, CSQA og et par andre, overgår PaLM 2 GPT-4.
Ikke bare det, på grund af sin flersprogede evne, kan PaLM 2 forstå idiomer, digte, nuancerede tekster og endda gåder på andre sprog. Det går ud over den bogstavelige betydning af ord og forstår den tvetydige og figurative betydning bag ordene. Dette skyldes, at PaLM 2 er blevet fortrænet i parallelle flersprogede tekster på forskellige sprog. Derudover gør korpuset af flersprogede data af høj kvalitet PaLM 2 endnu mere kraftfuld. Som et resultat fungerer oversættelse og andre sådanne applikationer langt bedre på PaLM 2.
Dernæst kommer vi til dets kodningsmuligheder. Google siger, at PaLM 2 igen er trænet på et stort korpus af kvalitetskildekodedatasæt, der er tilgængeligt i det offentlige domæne. Som et resultat understøtter det mere end 20 programmeringssprog, som inkluderer Python, JavaScrupt, C, C++ og endnu ældre sprog som Prolog, Fortran og Verilog. Det kan også generere kode, tilbyde kontekstbevidste forslag, oversætte kode fra et sprog til et andet, tilføje funktioner med blot en kommentar og mere.
Hvad kan PaLM 2-modellen?
Først og fremmest, lad mig sige, at PaLM 2 er blevet bygget til at gøre det tilpasset til forskellige anvendelsestilfælde. Google annoncerede, at PaLM 2 kommer i fire forskellige modeller – Gekko, Otter, Bison og Unicorn; Gecko er den mindste og Unicorn er den største.
Gecko er så let, at den kan køre selv på smartphones, mens den er helt offline. Det kan den behandle 20 tokens i sekundet på en flagskibstelefon, som er omkring 16 ord i sekundet. Det er fantastisk, ikke? Forestil dig den slags AI-drevne applikationer på enheden, du kan køre på din smartphone uden at kræve en aktiv internetforbindelse eller kraftige specifikationer.
Bortset fra det, PaLM 2 kan finjusteres til at lave en domænespecifik model med det samme. Google har allerede oprettet Med-PaLM 2, en medicinsk-specifik LLM finjusteret på PaLM 2, der modtog “ekspert”-niveaukompetence på spørgsmål i stil med US Medical Licensing Exam. Det opnåede en nøjagtighed på 85,4% i USMLE-testenendda højere end GPT-4 (84%). Når det er sagt, skal du huske på, at GPT-4 er en LLM til generelle formål og ikke finjusteret til medicinsk viden.
Fremadrettet har Google tilføjet multimodal kapacitet til Med-PaLM 2. Det kan analysere billeder som røntgenbilleder og mammografi og komme med konklusioner i tråd med ekspertklinikere. Det er ret bemærkelsesværdigt, da det kan bringe tiltrængt medicinsk adgang til fjerntliggende områder rundt om i verden. Udover det har Google udviklet Sec-PaLM, en specialiseret version af PaLM 2 til cybersikkerhedsanalyse og til hurtigt at opdage ondsindede trusler på ingen tid.
PaLM 2-drevne Google-produkter
Disse er alle forskellige anvendelsestilfælde af PaLM 2 i forskellige sfærer og industrier. Hvad angår individuelle forbrugere, kan du opleve PaLM 2 i aktion gennem Google Bard, Google Generative AI Search og Duet AI i Gmail, Google Docs og Google Sheets. Google flyttede for nylig Bard, dens interaktive AI-chatbot, til PaLM 2 og åbnede adgang til mere end 180 lande. Du kan følge vores artikel og lære, hvordan du bruger Google Bard lige nu.
Hvad angår brugen af PaLM 2 i Gmail, Google Docs og Sheets (Google kalder det Duet AI for Google Workspace), skal du tilmelde dig venteliste at drage fordel af de AI-drevne funktioner. Endelig, for udviklere, har Google frigivet PaLM API som er baseret på PaLM 2-modellen. Det kan du tilmelde dig lige nu for at bruge PaLM API i dine produkter. Den kan generere mere end 75 tokens i sekundet og har et kontekstvindue på 8.000 tokens.
PaLM 2 vs GPT-4: Hvordan sammenlignes AI-modellerne?
Før man sammenligner mulighederne, er én ting klar – PaLM 2 er hurtig. Jeg mener, den er hurtig til at svare på forespørgsler, selv komplekse begrundelsesspørgsmål. Ikke bare det, det tilbyder tre udkast på én gang, hvis du ikke er tilfreds med standardsvaret. Fra et effektivitets- og computersynspunkt er Google således et skridt eller to foran OpenAI. Læs om alle de nye funktioner i Google Bard AI her.
Hvad angår kapaciteter, testede vi ræsonnementet for både modellerne og PaLM 2-drevne Google Bard skinner virkelig i sådanne tests. Ud af 3 begrundelsesspørgsmål svarede Bard rigtigt på alle 3, mens ChatGPT-4 kun kunne besvare 1 rigtigt svar. I et tilfælde var Bards vurdering forkert (så ud til at hallucinere), men gav på en eller anden måde det rigtige svar.
Bortset fra det, til kodningsopgaver, bad jeg Bard om at finde en fejl i den kode, jeg leverede, men det gav et langt svar for at løse problemerne, hvilket viste sig at være helt forkert. ChatGPT-4 identificerede dog øjeblikkeligt kodningssyntaksen, opdagede fejlen og rettede koden uden yderligere opfordring.
Jeg tildelte også en opgave til begge modeller for at implementere Dijkstras algoritme i Python og begge modeller genereret fejlfri kode. Jeg kompilerede dem begge, og ingen af funktionerne gav nogen fejl. Når det er sagt, genererer ChatGPT-4 ren kode med nogle eksempler, mens Bard kun implementerer barebone-funktionen.
Begrænsninger for Google PaLM 2
Når vi nu kommer til begrænsninger, ved vi allerede, at ChatGPT-plugins er kraftfulde og hurtigt kan forbedre GPT-4’s muligheder med miles. Med blot Kodetolk pluginbrugere er i stand til at gøre så meget mere med ChatGPT. Faktisk har Google også annonceret “Værktøjer” svarende til plugins, men de er ikke live endnu, og tredjepartssupport virker mangelfuld på nuværende tidspunkt. Samtidig er udviklersupport enorm for OpenAI.
Dernæst er GPT-4 en multimodal model, hvilket betyder, at den kan analysere både tekster og billeder. Multimodalitet har en række interessante use cases. Du kan bede ChatGPT om at studere en graf, tabel, medicinsk rapport, medicinsk billeddannelse og mere. Ja, funktionen er ikke blevet tilføjet til ChatGPT endnu, men vi har set en tidlig demo, og den virkede meget imponerende. På den anden side, PaLM 2 er ikke en multimodal model da den kun omhandler tekster.
Søgegiganten har finjusteret PaLM 2 til at skabe Med-PaLM 2, som faktisk er multimodal, men den er ikke åben til offentlig brug og er begrænset til det medicinske domæne. Google siger, at næste generations model kaldet Gemini vil være multimodal med banebrydende funktioner, men den trænes stadig og er måneder fra udgivelsen. Google har lovet at bringe Lens-support til Bard, men det er ikke det samme som en AI-drevet visuel model.
Endelig, i sammenligning med GPT-4, Google Bard hallucinerer meget (se et eksempel herhvor Bard mener, at PaLM AI-modellen er skabt af OpenAI). Den opretter information i farten og reagerer trygt med falsk information. GPT-3 og GPT-3.5 havde også et lignende problem, men OpenAI har formået at reducere hallucination med 40 % med udgivelsen af GPT-4. Google skal løse det samme hallucinationsproblem “frimodigt og ansvarligt.”
Konklusion: PaLM 2 eller GPT-4?
Sammenfattende er Googles PaLM 2 AI-model blevet forbedret på nogle områder, såsom avanceret ræsonnement, oversættelse, flersprogede muligheder, matematik og kodning. Desuden har den den ekstra fordel, at den kører en mindre model med hurtig ydeevne og lave serveringsomkostninger. Men for at nå funktionsparitet med GPT-4 skal Google tilføje multimodalitet, tredjepartsværktøjer (Plugins), løse hallucinationsproblemet og gøre sine AI-modeller så udviklervenlige som muligt.
Støt vores arbejde ❤️
Hvis du kunne lide denne artikel, kan du overveje at give drikkepenge for at hjælpe os med fortsat at udgive kvalitetsindhold.
