Google Bard Billedupload: Fede Eksempler & Tips

Google har stille og roligt forbedret Bard og tilføjet nye funktioner med få ugers mellemrum, hvilket bringer dens muligheder op på niveau med ChatGPT. Nu har virksomheden tilføjet muligheden for at uploade billeder til Bard for en meget bredere oplevelse udover tekst. Tag ikke fejl, Google Bard er stadig en stor sprogmodel med kun tekst. Søgegiganten har dog integreret Google Lens, omvendt billedsøgning og et par VQA-systemer (Visual Question Answering) for at få Bard til at føle sig som en multimodal model. Ikke desto mindre er Bards nuværende synsevne faktisk noget overraskende, og vi har testet det nedenfor for at lære om dets muligheder. Lad os tage et kig på nogle seje eksempler på billedupload i Google Bard.

1. Uddrag tekster fra billeder

Den bedste nytte ved Bards billedhåndteringsevne er, at du nu kan uploade et billede ved at klikke på (+) knap. Det kan så hurtigt fange tekster fra uploads. Google Bard så udfører automatisk OCR og udfører et præcist stykke arbejde. Når det er sagt, på trods af en lang række sprogunderstøttelse i Bard, fungerer OCR-funktionaliteten i øjeblikket kun for det engelske sprog. Jeg prøvede flere internationale og regionale sprog, men det lykkedes ikke at fange tekster fra scannede billeder. Ikke desto mindre kan Bard være meget nyttig for hurtig tekstudtrækning fra billeder.

2. Udpak tabeller med intakt formatering

Vi kæmper alle sammen, når vi skal udtrække tabeller fra scannede billeder eller dokumenter. Google Bard kan dog uden besvær udtrække tabeller med formateringen intakt. Faktisk kan du eksportere tabellen til Google Sheets og lav yderligere redigering eller dataknusning. Hvor fedt er det? Når det er sagt, hallucinerer Bard i øjeblikket meget, og i nogle tilfælde fylder det cellerne med de forkerte data, så sørg for at verificere dem, før du eksporterer dem.

3. Generer kode til websteder/apps ved hjælp af mockups

For at fremvise GPT-4’s multimodalitetsfunktion demonstrerede OpenAI i marts 2023, hvordan dens model forstod den skriblede seddel og lavede hurtigt en mockup af hjemmesiden ud fra et stykke papir. Mens den multimodale funktion endnu ikke er kommet til GPT-4, er Google Bard i stand til at generere kode, der matcher mockup’et. Husk det Bard er ikke en multimodal model men bruger billedsegmentering via Google Lens til at forstå billedet. Ikke desto mindre overraskede Bard os med sine resultater.

Jeg uploadede et skærmbillede af Facebook-landingssiden, og det blev hurtigt genereret kode i HTML og CSS der lignede noget. Jeg uploadede også et billede af en simpel hjemmeside, som jeg tegnede på papir, og Google Bard gjorde et godt stykke arbejde med at genskabe det. Yderligere kan du også bruge lignende metoder til at genskabe brugergrænseflader til smartphone-apps og andre websteder.

4. Google Bard kan forklare billeder

Google Bard er god til at forklare billeder og opsummere, hvad der foregår i dem. Du kan uploade obskure billeder, og det kan det producere pålidelig information hurtigt. Jeg uploadede et billede af lav kvalitet af en biologisk mekanisme, og det identificerede det korrekt som celle mitose. Det forklarede yderligere processen trin for trin.

I et andet eksempel, I uploadet et diagram, og den forstod billedet korrekt og forklarede dataene. Den oprettede endda en tabel over datapunkterne, så jeg kunne arbejde på den i Google Sheets. Især for studerende kan Bard være behjælpelig med at forstå begreber inden for naturvidenskab og andre emner. Du kan blot uploade et billede og spørge Bard om det.

5. Få ernæringsoplysninger fra billeder

Ved at bruge Bards billedhåndteringsevne kan du få fødevarers ernæringsmæssige værdier. Du skal blot uploade billedet af mad på din tallerken, og det vil det udregn det samlede kalorieindhold inden for sekunder. Dette kan være enormt nyttigt for folk, der er på en reguleret diæt.

I min test kunne den ikke måle portionsstørrelsen, men gav eksempler, så du selv kunne beregne det samlede kalorieindtag. Det ser ud til, at Google bruger billedsegmentering til at kategorisere fødevarer og komme med ernæringsoplysninger.

6. Improvisér madopskrifter

En anden glimrende use case er at tilføje billedet af rå madvarer og bede Google Bard om at komme med forskellige madopskrifter. Du kan også tilføje billeder af madvarer i dit køleskab, og det vil ubesværet skabe personlige opskrifter for dig. Desuden kan du bede Bard om særlige køkkener fra forskellige dele af verden. Og hvis du er på diæt, kan du bede Google Bard om at lave fedtfri madopskrifter med lavt kalorieindhold til mæthed.

7. Løs matematiske spørgsmål

Du kan også bruge Google Bard til at løse matematiske spørgsmål. Du kan uploade et billede af dine matematikopgaver til Bard, og det vil det prøv at løse spørgsmålet for dig. I min test var Bards tilgang rigtig, men på grund af notationsproblemer kom den kun med forkerte svar. Jeg tror, ​​det vil kræve en opdatering af sit visionsystem for at gøre Bard mere egnet til at håndtere matematiske notationer og spørgsmål.

8. Forklar memer og vittigheder

Google Bard kan også forklare memes og vittigheder. Du kan uploade billeder af sjove memes og tegnefilm og spørg Bard, hvad der er sjovt omtrent det samme, og det vil give sin egen fortolkning. Jeg uploadede det samme billede, som OpenAI demonstrerede under afsløringen af ​​GPT-4, og Bard forstod med rette den hylende morsomme absurditet bag billedet.

I et andet tilfælde uploadede jeg et billede til Google Bard fra The New Yorker Cartoons og bad det om det forklare vittigheden. Men denne gang forklarede det blot scenen og kunne ikke fortælle, hvorfor billedet var sjovt. Den savnede fuldstændig e-mail-sætningen, der er almindeligt brugt på arbejdspladser. Jeg vil foreslå, at du selv prøver Google Bard og tjekker, om den er intelligent nok til at forstå vid og humor.

9. Oversæt ligninger til LaTeX

Det er ingen hemmelighed, at mange mennesker har svært ved at skrive i LaTeX og foretrækker at bruge tekstbehandlingsprogrammer. For videnskabelige forskningsartikler og akademisk skrivning er LaTeX dog påkrævet for tilføje komplekse ligninger og højkvalitets sætning. I et sådant scenarie kan Google Bard være nyttig. Du kan tilføje billeder af ligninger, og Bard kan oversætte dem til LaTeX-kode. Det er fantastisk, ikke? Så gå videre og oversæt ligningerne til LaTeX-kode på ingen tid.

10. Upload medicinske rapporter og stil spørgsmål

Endelig kan du uploade billeder af dine medicinske rapporter og scanne dem til Google Bard. Du kan derefter stille medicinske spørgsmål baseret på dem. Nogle læger på Twitter har vist, at Bard er ganske udmærket til differentialdiagnose. Det kan også hjælpe brugere med at forstå deres helbred og give mening i medicinske rapporter

Når det er sagt, skal du huske på, at Google Bard kører på en generel LLM kaldet PaLM 2. Søgegiganten har udviklet en separat medicinsk-domæne Med-PaLM 2-model, som er ret præcis og avanceret, men den er ikke tilgængelig for almindelige brugere endnu. Så jeg vil anbefale brugere at holde sig væk fra enhver form for selvdiagnose ved brug af Bard. Det anbefales kraftigt at konsultere en læge. Og endelig, hvis du uploader dine personlige medicinske rapporter til Bard, skal du sørge for at slette Bard-chat for at beskytte dit privatliv.

Støt vores arbejde ❤️

Hvis du kunne lide denne artikel, kan du overveje at give drikkepenge for at hjælpe os med fortsat at udgive kvalitetsindhold.

5 € 10 € 15 € Andet

€

Giv drikkepenge med PayPal Sikker betaling med PayPal