KIVONAT

A nagy nyelvi modellek (LLM-ek) megjelenése a keresőmotorok új paradigmáját hozta létre, amelyek generatív modelleket használnak az információk gyűjtésére és összefoglalására a felhasználói lekérdezések megválaszolásához. Ez a feltörekvő technológia, amelyet a generatív motorok (GE-k) egységes keretrendszere alatt formalizálunk, pontos és személyre szabott válaszokat képes generálni, gyorsan felváltva a hagyományos keresőmotorokat, mint például a Google és a Bing.

A generatív motorok jellemzően úgy elégítik ki a lekérdezéseket, hogy több forrásból származó információkat szintetizálnak, és azokat LLM-ek segítségével összegzik. Bár ez az eltolódás jelentősen javítja a felhasználói hasznosságot és a generatív keresőmotor-forgalmat, hatalmas kihívást jelent a harmadik érdekelt fél – a weboldal- és tartalomkészítők – számára.

Tekintettel a generatív motorok fekete dobozos és gyorsan változó jellegére, a tartalomkészítőknek kevés vagy semmilyen beleszólásuk sincs abba, hogy mikor és hogyan jelenjen meg a tartalmuk. Mivel a generatív motorok velünk maradnak, biztosítanunk kell, hogy az alkotói gazdaság ne kerüljön hátrányba.

Ennek megoldására bemutatjuk a Generatív Optimalizálást (GEO), az első újszerű paradigmát, amely segíti a tartalomkészítőket tartalmuk láthatóságának javításában a generatív keresőmotorok válaszaiban egy rugalmas fekete dobozos optimalizálási keretrendszeren keresztül, amely optimalizálja és meghatározza a láthatósági metrikák meghatározását. A szisztematikus értékelést a GEO-bench bevezetésével segítjük elő, amely több domainen keresztüli, változatos felhasználói lekérdezések nagyméretű benchmarkja, valamint releváns webes források, amelyekkel megválaszolhatók ezek a lekérdezések.

Szigorú értékelés révén bemutatjuk, hogy a GEO akár 40%-kal is növelheti a láthatóságot a generatív keresőmotorok válaszaiban. Továbbá bemutatjuk, hogy ezeknek a stratégiáknak a hatékonysága domainenként változó, hangsúlyozva a domainspecifikus optimalizálási módszerek szükségességét.

Munkánk új távlatokat nyit az információkereső rendszerekben, mélyreható következményekkel járva mind a generatív motorok fejlesztői, mind a tartalomkészítők számára.

KULCSSZAVAK

generatív modellek, keresőmotorok, adatkészletek és benchmarkok

1. BEVEZETÉS

A hagyományos keresőmotorok három évtizeddel ezelőtti feltalálása forradalmasította az információhoz való hozzáférést és -terjesztést világszerte [4]. Bár erősek voltak, és számos alkalmazást tettek lehetővé, mint például az akadémiai kutatás és az e-kereskedelem, arra korlátozódtak, hogy a felhasználói lekérdezésekhez releváns weboldalak listáját biztosítsák. A nagy nyelvi modellek közelmúltbeli sikere [5, 21] azonban utat nyitott olyan jobb rendszerek előtt, mint a BingChat, a Google SGE-je és a perplexity.ai, amelyek a hagyományos keresőmotorokat generatív modellekkel kombinálják.

Ezeket a rendszereket generatív motoroknak (GE) nevezzük, mert információkat keresnek, és több forrás felhasználásával multimodális válaszokat generálnak. Technikailag a generatív motorok (2. ábra) releváns dokumentumokat keresnek ki egy adatbázisból (például az internetről), és nagy neurális modelleket használnak a forrásokon alapuló válasz generálására, biztosítva a hozzárendelést és azt, hogy a felhasználó ellenőrizhesse az információkat.

A generatív motorok hasznossága a fejlesztők és a felhasználók számára egyértelmű – a felhasználók gyorsabban és pontosabban férnek hozzá az információkhoz, miközben a fejlesztők precíz és személyre szabott válaszokat készítenek, javítva a felhasználói elégedettséget és a bevételt. A generatív motorok azonban hátrányos helyzetbe hozzák a harmadik érdekelt felet – a weboldal- és tartalomkészítőket.

A generatív motorok a hagyományos keresőmotorokkal ellentétben semmivé teszik a weboldalakra való navigáció szükségességét azáltal, hogy közvetlenül pontos és átfogó választ adnak, potenciálisan csökkentve a weboldalak organikus forgalmát és befolyásolva azok láthatóságát [16].

Mivel több millió kisvállalkozás és magánszemély megélhetése az online forgalomtól és a láthatóságtól függ, a generatív motorok jelentősen fel fogják forgatni az alkotói gazdaságot. Továbbá a generatív motorok fekete dobozos és szabadalmaztatott jellege megnehezíti a tartalomkészítők számára, hogy kontrollálják és megértsék, hogyan kerül bevitelre és megjelenítésre a tartalmuk.

Ebben a munkában az első általános, alkotóközpontú keretrendszert javasoljuk a generatív keresőmotorok tartalmának optimalizálására, amelyet Generatív Optimalizálásnak (GEO) nevezünk el, hogy lehetővé tegyük a tartalomkészítők számára az eligazodást ebben az új keresési paradigmában.

A GEO egy rugalmas, fekete dobozos optimalizálási keretrendszer a webes tartalom láthatóságának optimalizálására saját és zárt forráskódú generatív keresőmotorok számára (1. ábra). A GEO beolvassa a forráswebhelyet, és egy optimalizált verziót ad ki a megjelenítés, a szövegstílus és a tartalom testreszabásával és kalibrálásával, hogy növelje a láthatóságot a generatív keresőmotorokban.

Továbbá a GEO egy rugalmas keretrendszert vezet be a generatív keresőmotorokhoz igazított láthatósági mérőszámok meghatározásához, mivel a láthatóság fogalma a generatív keresőmotorokban árnyaltabb és sokrétűbb, mint a hagyományos keresőmotorokban (3. ábra). Míg a válaszoldalon elért átlagos helyezés jó mérőszáma a láthatóságnak a hagyományos keresőmotorokban, amelyek a weboldalak lineáris listáját jelenítik meg, ez nem vonatkozik a generatív keresőmotorokra.

A generatív motorok gazdag, strukturált válaszokat biztosítanak, és weboldalakat ágyaznak be beágyazott hivatkozásokként a válaszba, gyakran különböző hosszúságban, változó pozíciókban és változatos stílusokban. Ez szükségessé teszi a generatív motorokhoz igazított láthatósági mérőszámokat, amelyek a hozzárendelt források láthatóságát több dimenzióban mérik, például a hivatkozás relevanciája és a lekérdezésre gyakorolt ​​hatása alapján, mind objektív, mind szubjektív lencsén keresztül mérve.

A GEO-módszerek hű és átfogó értékelésének megkönnyítése érdekében javasljuk a GEO-bench-et, egy 10 000 lekérdezésből álló, különböző tartományokból és forrásokból származó, generatív motorokhoz adaptált benchmarkot.

Szisztematikus értékelés révén bemutatjuk, hogy a javasolt Generatív Motoroptimalizálási (GEO) módszereink akár 40%-kal is növelhetik a láthatóságot különböző lekérdezések esetén, előnyös stratégiákat kínálva a tartalomkészítők számára. Többek között azt tapasztaltuk, hogy a hivatkozások, releváns forrásokból származó idézetek és statisztikák beillesztése jelentősen növelheti a források láthatóságát, több mint 40%-os növekedéssel a különböző lekérdezések esetén. Bemutatjuk a Generatív Motoroptimalizálás hatékonyságát a Perplexity.ai-n, egy valós generatív motoron is, és akár 37%-os láthatósági javulást is kimutatunk.

Összefoglalva, hozzájárulásaink három részből állnak:

(1) Javasoljuk a Generatív Motoroptimalizálást, az első általános optimalizálási keretrendszert weboldal-tulajdonosok számára, hogy optimalizálják weboldalaikat a generatív motorokhoz. A Generatív Motoroptimalizálás akár 40%-kal is javíthatja a weboldalak láthatóságát számos lekérdezés, domain és valós fekete dobozos generatív motor esetén.

(2) Keretrendszerünk egy átfogó láthatósági metrikák halmazát javasolja, amelyeket kifejezetten generatív motorokhoz terveztek, és lehetővé teszi a tartalomkészítők számára, hogy rugalmasan optimalizálják tartalmukat testreszabott láthatósági metrikák segítségével.

(3) A GEO-módszerek generatív motorokban való hű értékelésének elősegítése érdekében javaslatot teszünk az első nagyszabású benchmarkra, amely széleskörű domainekből és adatkészletekből származó, kifejezetten a generatív motorokhoz igazított, változatos keresési lekérdezésekből áll.

1. ábra: A javasolt Generatív Optimalizálási (GEO) módszerünk optimalizálja a weboldalakat, hogy növelje láthatóságukat a Generatív Motorok válaszaiban. A GEO fekete dobozos optimalizálási keretrendszere ezután lehetővé teszi a pizza weboldal tulajdonosa számára, amely eredetileg nem rendelkezett láthatósággal, hogy optimalizálja weboldalát a Generatív Motorok alatti láthatóság növelése érdekében. Továbbá a GEO általános keretrendszere lehetővé teszi a tartalomkészítők számára, hogy meghatározzák és optimalizálják egyéni láthatósági mutatóikat, ami nagyobb kontrollt biztosít számukra ebben az új, kialakulóban lévő paradigmában.

2. KIFEJLESZTÉS ÉS MÓDSZERTAN

2.1 Generatív Motorok Kifejezése

Annak ellenére, hogy számos generatív motort telepítettek több millió felhasználóhoz, jelenleg nincs szabványos keretrendszer. Egy olyan formulát biztosítunk, amely különböző moduláris komponenseket tartalmaz a tervezésében. Leírunk egy generatív motort, amely több háttér generatív modellt és egy keresőmotort tartalmaz a forrás visszakereséséhez.

2.ábra: A Generatív Motorok áttekintése. A Generatív Motorok elsősorban generatív modellek halmazából és egy keresőmotorból állnak, amely a releváns dokumentumokat keresi. A Generatív Motorok a felhasználói lekérdezést bemenetként veszik, és egy sor lépésen keresztül generálnak egy végső választ, amely a lekért forrásokon alapul, beágyazott attribúciókkal.

Egy Generatív Motor (GE) egy felhasználói lekérdezést fogad (𝑞𝑢), és egy természetes nyelvű választ ad vissza (𝑟), ahol a 𝑃𝑈 a személyre szabott felhasználói információkat jelöli. A GE függvényként ábrázolható:

𝑓𝐺 := (𝑞𝑢, 𝑃𝑈) → 𝑟 (1)

A generatív motorok két kulcsfontosságú összetevőből állnak: a.) Generatív modellek halmaza 𝐺 = {𝐺1, 𝐺2…𝐺 }, amelyek mindegyike egy adott célt szolgál, például lekérdezések újrafogalmazását vagy összefoglalását, és b.) Egy keresőmotor 𝑆𝐸, amely egy 𝑆 = {𝑠1, 𝑠2…𝑠 } forráshalmazt ad vissza egy 𝑞 lekérdezés esetén. A 2. ábrán egy reprezentatív munkafolyamatot mutatunk be, amely az írás időpontjában nagyon hasonlít a BingChat felépítéséhez.

Ez a munkafolyamat a bemeneti lekérdezést egyszerűbb lekérdezések halmazára bontja, amelyeket a keresőmotor könnyebben felhasznál. Egy adott lekérdezés esetén egy generatív modellt újrafogalmazó lekérdezés, 𝐺1 = 𝐺𝑞𝑟, létrehoz egy lekérdezéshalmazt 𝑄1 = {𝑞1, 𝑞2…𝑞 }, amelyeket ezután átad a 𝑆𝐸 keresőmotornak, hogy lekérje a rangsorolt ​​források halmazát 𝑆 = {𝑠1, 𝑠2, …, 𝑠𝑚 }.

A források halmazait 𝑆 átadjuk egy 𝐺2 = 𝐺𝑠𝑢𝑚 összegző modellnek, amely minden 𝑆-ben lévő forráshoz egy 𝑆𝑢𝑚𝑗 összegző 𝑆𝑢𝑚𝑗 összegzést generál, az eredményül kapott összesítő halmaz (𝑆𝑢𝑚 = {𝑆𝑢𝑚1, 𝑆𝑢𝑚2, …, 𝑆𝑢𝑚𝑚 }). Az összegző halmazt átadjuk egy 𝐺3 = 𝐺𝑟𝑒𝑠𝑝 válaszgeneráló modellnek, amely egy 𝑟𝑟𝑒𝑠𝑝 források által alátámasztott kumulatív választ 𝑟 generál. Ebben a munkában az egyfordulós generatív motorokra összpontosítunk, de a megfogalmazás kiterjeszthető többfordulós konverzációs generatív motorokra is.

A válasz 𝑟 jellemzően egy strukturált szöveg beágyazott hivatkozásokkal. A hivatkozások fontosak, mivel az LLM-ek hajlamosak hallucinálni az információkat [10]. Konkrétan vegyünk egy választ 𝑟, amely {𝑙1, 𝑙2…𝑙𝑜} mondatokból áll.

Minden mondatot a visszakeresett dokumentumkészlet részét képező 𝐶𝑖 ⊂ 𝑆 hivatkozások halmaza támaszthatja alá. Egy ideális generatív motornak biztosítania kell, hogy a válaszban szereplő összes állítást releváns hivatkozások támasztják alá (magas hivatkozási felidézés), és minden hivatkozás pontosan alátámasztja azokat az állításokat, amelyekhez társítják (magas hivatkozási pontosság) [14]. A generatív motor reprezentatív válaszát a 3. ábrára utaljuk.

2.2 Generatív keresőoptimalizálás

3. ábra A keresőmotorok megjelenése vezetett a keresőoptimalizáláshoz (SEO), amely egy olyan folyamat, amely segít a weboldalak készítőinek optimalizálni tartalmukat a keresőmotorok rangsorolásának javítása érdekében. A magasabb rangsorolás korrelál a megnövekedett láthatósággal és weboldalforgalommal.

A hagyományos SEO módszerek azonban nem alkalmazhatók közvetlenül a Generatív Motorokra. Ez azért van, mert a hagyományos keresőmotorokkal ellentétben a generatív motorokban a generatív modell nem korlátozódik a kulcsszóegyeztetésre, és a nyelvi modellek használata a forrásdokumentumok feldolgozásában és a válaszgenerálásban a szöveges dokumentumok és a felhasználói lekérdezések árnyaltabb megértését eredményezi.

A generatív motorok gyorsan tűnnek ki elsődleges információszolgáltatási paradigmaként, és a SEO nem alkalmazható közvetlenül; új technikákra van szükség. Ennek érdekében javasljuk a Generatív Optimizálást, egy új paradigmát, ahol a tartalomkészítők célja a láthatóságuk (vagy benyomásuk) növelése a generatív motorok válaszaiban. Egy weboldal (más néven hivatkozás) láthatóságát egy idézett válaszban a 𝑟𝑚𝑝 (𝑐𝑖, 𝑟) függvénnyel definiáljuk, amelyet a weboldal készítője maximalizálni kíván.

A generatív motor szempontjából a cél a felhasználói lekérdezéshez leginkább kapcsolódó hivatkozások láthatóságának maximalizálása, azaz a 𝑖 𝑓 (𝐼𝑚𝑝 (𝑐𝑖, 𝑟), 𝑅𝑒𝑙 (𝑐𝑖, 𝑞, 𝑟 )) maximalizálása, ahol 𝑅𝑒𝑙 (𝑐𝑖, 𝑞, 𝑟 )) a hivatkozás 𝑐𝑖 relevanciáját méri a lekérdezéshez 𝑞 válasz 𝑟 kontextusában, és 𝑓 a generatív motor pontos algoritmikus tervezése határozza meg, és egy fekete doboz függvény a végfelhasználók számára. Továbbá, mind a ῑῑῑῑ függvények szubjektívek és még nincsenek jól definiálva a generatív keresőmotorok számára, amelyeket a következőkben definiálunk.

2.2.1 Megjelenítések generatív motorok számára.

A SEO-ban egy weboldal megjelenítését (vagy láthatóságát) az átlagos rangsorolása határozza meg egy adott lekérdezéstartományon. A generatív motorok kimeneti jellege azonban különböző megjelenítési mérőszámokat tesz szükségessé. A keresőmotorokkal ellentétben a generatív motorok több forrásból származó információkat kombinálnak egyetlen válaszban.

Az olyan tényezők, mint a hivatkozás hossza, egyedisége és megjelenítése határozzák meg egy hivatkozás valódi láthatóságát. Így, ahogy a 3. ábra szemlélteti, míg a válaszoldalon egy egyszerű rangsorolás hatékony mérőszámként szolgál a megjelenítés és a láthatóság tekintetében a hagyományos keresőmotorokban, ezek a mérőszámok nem alkalmazhatók a generatív motorok válaszaira.

Válaszul erre a kihívásra, egy sor megjelenítési metrikát javaslunk, amelyeket három fő alapelv szem előtt tartásával terveztünk: 1.) A metrikáknak relevánsnak kell lenniük az alkotók számára, 2.) Magyarázhatóaknak kell lenniük, és 3.) Könnyen érthetőeknek kell lenniük a tartalomkészítők széles köre számára. Az első ilyen metrika, a „Szószám” metrika, az egy idézethez kapcsolódó mondatok normalizált szószáma. Matematikailag ez a következőképpen definiálható:

Itt az 𝑆𝑐𝑖 az 𝑐𝑖-t idéző ​​mondatok halmaza, az 𝑆𝑟 a válaszban szereplő mondatok halmaza, az |𝑠| pedig a 𝑠 mondatban szereplő szavak száma. Azokban az esetekben, amikor egy mondatra több forrás is hivatkozik, a szószámot egyenlően megosztjuk az összes hivatkozással. Intuitív módon a magasabb szószám a válaszban fontosabb szerepet játszó forrással korrelál, és így a felhasználó nagyobb valószínűséggel találkozik ezzel a forrással.

Továbbá, a keresőmotorokkal ellentétben, ahol jelentős kutatásokat végeztek a láthatóság javítására, a generatív motorok válaszaiban a láthatóság optimalizálása továbbra sem világos. Ezen kihívások megoldására fekete dobozos optimalizálási keretrendszerünk egy sor jól megtervezett megjelenítési mutatót javasol, amelyeket az alkotók felhasználhatnak webhelyük teljesítményének mérésére és optimalizálására, valamint lehetővé teszi az alkotó számára, hogy meghatározza saját megjelenítési mutatóit.

Mivel azonban a „szószámot” nem befolyásolja a hivatkozások rangsorolása (például, hogy először jelenik-e meg), egy pozícióhoz igazított számot javaslunk, amely a súlyt a hivatkozás pozíciójának exponenciálisan csökkenő függvényével csökkenti:

(Random, RPN, ) = Í ∈ 𝑆𝑐𝑖 |𝑠 | • 𝑒 − 𝑝𝑜𝑠 ( )

|𝑆 |

Í ∈ 𝑆𝑟 |𝑠 | (3)

Intuitív módon a válaszban elsőként megjelenő mondatokat nagyobb valószínűséggel olvassák el, és a definícióban szereplő kitevő tag, az 𝐼𝑚𝑝𝑝𝑤𝑐, nagyobb súlyt ad az ilyen hivatkozásoknak. Így egy felül idézett weboldal nagyobb benyomást kelthet annak ellenére, hogy alacsonyabb szószámmal rendelkezik, mint egy a válasz közepén vagy végén idézett weboldal.

Továbbá az exponenciálisan csökkenő függvény választását több tanulmány is motiválja, amelyek azt mutatják, hogy az átkattintási arányok a keresőmotorokban elfoglalt helyezés függvényében hatványfüggvényt követnek [7, 8]. Bár a fenti benyomásmérő mérőszámok objektívek és megalapozottak, figyelmen kívül hagyják a hivatkozások felhasználó figyelmére gyakorolt ​​hatásának szubjektív aspektusait.

Ennek megoldására a „Szubjektív Benyomás” mutatót javasoljuk, amely olyan szempontokat foglal magában, mint a hivatkozott anyag relevanciája a felhasználói lekérdezéshez, a hivatkozás hatása, a hivatkozás által bemutatott anyag egyedisége, a szubjektív pozíció, a szubjektív szám, a hivatkozásra való kattintás valószínűsége és a bemutatott anyag sokszínűsége. A G-Eval [15] módszert, a LLM-ekkel való értékelés jelenlegi legmodernebb módszerét használjuk ezen almutatók mérésére.

2.2.2 Generatív Optimalizálási (GEO) módszerek weboldalakhoz.

A megjelenítési mutatók javítása érdekében a tartalomkészítőknek változtatásokat kell végrehajtaniuk weboldaluk tartalmán. Számos generatív optimalizálási (engine-agnostic) stratégiát mutatunk be, amelyeket generatív optimalizálási (engine-agnostic) módszereknek (GEO) nevezünk. Matematikailag minden GEO módszer egy függvény  : 𝑊 → 𝑊 ′ 𝑖 , ahol 𝑊 a kezdeti webtartalom, 𝑊 ′ pedig a GEO módszer alkalmazása után módosított tartalom.

A módosítások az egyszerű stilisztikai változtatásoktól az új tartalom strukturált formátumba való beépítéséig terjedhetnek. Egy jól megtervezett GEO egyenértékű egy fekete doboz optimalizálási módszerrel, amely a generatív motorok pontos algoritmikus felépítésének ismerete nélkül növeli a weboldal láthatóságát, és szöveges módosításokat hajt végre a 𝑊-n, függetlenül a pontos lekérdezésektől.

Kísérleteinkben generatív motoroptimalizálási módszereket alkalmazunk weboldal tartalmára egy nagy nyelvi modell használatával, amelyet arra kérünk, hogy meghatározott stilisztikai és tartalmi változtatásokat hajtson végre a weboldalon. Konkrétan, a GEO módszer által meghatározott kívánt jellemzők alapján a forrástartalmat ennek megfelelően módosítjuk. Több ilyen módszert is javasolunk és értékelünk:

1: Hitelesítés: Módosítja a forrástartalom szövegstílusát, hogy meggyőzőbb és hitelesebb legyen,

2. Statisztika Hozzáadása: Módosítja a tartalmat, hogy kvantitatív statisztikákat tartalmazzon a kvalitatív megbeszélés helyett, ahol csak lehetséges,
3. Kulcsszóhalmozás: Módosítja a tartalmat, hogy több kulcsszót tartalmazzon a lekérdezésből, ahogy az a klasszikus SEO optimalizálásban várható.
4. Források idézése & 5. Idézetek hozzáadása: Releváns hivatkozásokat és idézeteket ad hozzá hiteles forrásokból,
5. Érthetőség Javítása: Egyszerűsíti a weboldal nyelvét, míg 7. A folyékonyság optimalizálása javítja a weboldal szövegének folyékonyságát.
6. Egyedi szavak & 9. Szakkifejezések: egyedi, illetve szakkifejezések hozzáadását foglalja magában, ahol csak lehetséges,

Ezek a módszerek különféle általános stratégiákat fednek le, amelyeket a weboldal-tulajdonosok gyorsan megvalósíthatnak és használhatnak a weboldal tartalmától függetlenül. Továbbá, a 3., 4. és 5. módszer kivételével, a fennmaradó módszerek javítják a meglévő tartalom megjelenítését, hogy növeljék annak meggyőző erejét vagy vonzerejét a generatív motor számára, anélkül, hogy extra tartalomra lenne szükség.

Másrészt a 3., 4. és 5. Módszerhez szükség lehet valamilyen további tartalomra. A módszereink teljesítménynövekedésének elemzéséhez minden bemeneti felhasználói lekérdezéshez véletlenszerűen kiválasztunk egy optimalizálandó forráswebhelyet, és az egyes GEO módszereket külön-külön alkalmazzuk ugyanazon a forráson.

3. KÍSÉRLETI BEÁLLÍTÁS

3.1 Kiértékelt generatív motor

A korábbi munkákkal [14] összhangban kétlépéses beállítást alkalmazunk a Generatív motor tervezéséhez. Az első lépés a releváns források beolvasása a bemeneti lekérdezéshez, majd egy második lépésben egy LLM a beolvasott források alapján választ generál. A korábbi munkákhoz hasonlóan nem használunk összegzést, és minden forráshoz megadjuk a teljes választ. A kontextushossz-korlátozások és a transzformátor modellek kontextusméretén alapuló kvadratikus skálázási költség miatt minden lekérdezéshez csak az első 5 forrást olvassuk be a Google keresőmotorból.

A beállítás szorosan utánozza a korábbi munkákban használt munkafolyamatot és a kereskedelmi GE-k, mint például a you.com és a perplexity.ai által alkalmazott általános tervet. A választ ezután a gpt3.5-turbo modell [20] generálja ugyanazzal a prompttal, mint a korábbi munkában [14]. 5 különböző választ veszünk mintát 0,7 hőmérsékleten, hogy csökkentsük a statisztikai eltéréseket. A C.1. szakaszban a Perplexity.ai-n, egy kereskedelmi forgalomban kapható generatív motoron, kiemelve a javasolt generatív motoroptimalizálási módszerek általánosíthatóságát.

3.2 Benchmark: GEO-bench

Mivel jelenleg nincs nyilvánosan elérhető adathalmaz, amely generatív motorral kapcsolatos lekérdezéseket tartalmazna, a GEO-bench-et állítottuk össze, amely 10 ezer, több forrásból származó, generatív motorokhoz újrahasznosított lekérdezésből, valamint szintetikusan generált lekérdezésekből áll.

A benchmark kilenc különböző forrásból származó lekérdezéseket tartalmaz, amelyeket a céltartomány, a nehézség, a lekérdezési szándék és egyéb dimenziók alapján tovább kategorizálunk.

Adatkészletek: 1. MS Macro, 2. ORCAS-1 és 3. Natural Questions: [1, 6, 13] Ezek az adathalmazok valódi, anonim felhasználói lekérdezéseket tartalmaznak a Bing és a Google keresőmotorokból. Ez a három együttesen a keresőmotorokkal kapcsolatos kutatásokban használt közös adathalmazokat képviseli.

A generatív motoroknak azonban sokkal nehezebb és specifikusabb lekérdezéseket kell feltenniük azzal a szándékkal, hogy több forrásból származó válaszokat szintetizáljanak, ahelyett, hogy keresnék azokat. Ennek érdekében számos más, nyilvánosan elérhető adathalmazt újrahasznosítunk:

4. AllSouls: Ez az adathalmaz az „All Souls College, Oxford University” esszékérdéseit tartalmazza. Az adathalmazban található lekérdezések megkövetelik a generatív motoroktól, hogy megfelelő érvelést végezzenek a több forrásból származó információk összesítéséhez.
5. LIMA: [25] olyan kihívást jelentő kérdéseket tartalmaz, amelyek a generatív motoroktól nemcsak az információk összesítését, hanem a kérdés megválaszolásához megfelelő érvelést is végeznek (pl. egy rövid vers írása, Python kód).
6. A Davinci-Debtate [14] a generatív motorok teszteléséhez generált vitakérdéseket tartalmaz.
7. Perplexity.ai Discover2: Ezek a lekérdezések a Perplexity.ai Discover szekciójából származnak, amely a platformon felkapott lekérdezések frissített listája.
8. ELI-53: Ez az adatbázis az ELI5 subreddit kérdéseit tartalmazza, ahol a felhasználók összetett kérdéseket tesznek fel, és egyszerű, laikusoknak szóló válaszokat várnak.
9. GPT-4 által generált lekérdezések: A lekérdezések eloszlásának sokszínűségének kiegészítése érdekében arra kérjük a GPT-4-et [21], hogy különböző területekről (pl. tudomány, történelem) származó lekérdezéseket generáljon, a lekérdezési szándék alapján (pl. navigációs, tranzakciós), valamint a generált válasz nehézsége és hatóköre alapján (pl. nyílt végű, tényalapú).

A benchmarkunk 10 ezer lekérdezést tartalmaz, amelyek 8 ezer, 1 ezer és 1 ezer részre vannak osztva a vonat, az érvényesítés és a tesztelés számára. Megőrzzük a valós lekérdezéseloszlást, ahol a referenciaértékünk 80%-ban informatív lekérdezéseket, 10%-ban pedig tranzakciós és navigációs lekérdezéseket tartalmaz. Minden lekérdezést kiegészítünk a Google keresőmotor 5 legnépszerűbb keresési találatának tisztított szöveges tartalmával.

Címkék. A weboldal tartalmának optimalizálása gyakran célzott változtatásokat igényel a feladat domainje alapján. Ezenkívül a Generatív Optimalizálás felhasználójának szüksége lehet egy megfelelő módszer meghatározására a lekérdezések csak egy részhalmazára, figyelembe véve több tényezőt, mint például a domain, a felhasználói szándék és a lekérdezés jellege. Ennek megkönnyítése érdekében minden lekérdezést hét különböző kategória egyikével címkézünk meg. A címkézéshez a GPT-4 modellt alkalmazzuk, és manuálisan ellenőrizzük a magas visszahívási arányt és pontosságot a tesztrészben.

Összességében a GEO-bench 25 különböző területről származó lekérdezéseket tartalmaz, mint például a művészetek, az egészségügy és a játékok; a lekérdezési nehézségek skáláját kínálja az egyszerűtől a sokrétűig; 9 különböző típusú lekérdezést tartalmaz, mint például az információs és a tranzakciós lekérdezéseket; és 7 különböző kategorizálást foglal magában.

Speciálisan tervezett nagyfokú diverzitása, a benchmark mérete és valós jellege miatt a GEO-bench egy átfogó benchmark a generatív motorok értékeléséhez, és standard tesztkörnyezetként szolgál a különböző célokra történő értékelésükhöz ebben és a jövőbeni munkákban. A GEO-benchről további részleteket a B.2. függelékben talál.

3.3 GEO módszerek

9 különböző javasolt GEO módszert értékelünk a 2.2.2. szakaszban leírtak szerint. Összehasonlítjuk őket egy alapértékkel, amely a módosítatlan webhelyforrások megjelenítési mutatóját méri. A módszereket a teljes GEO-bench tesztfelosztáson értékeljük. Továbbá az eredmények varianciájának csökkentése érdekében öt különböző véletlenszerű magon futtatjuk a kísérleteinket, és az átlagot közöljük.

3.4 Értékelési metrikák

A 2.2.1. szakaszban meghatározott benyomásmetrikákat használjuk. Konkrétan két benyomásmetrikát alkalmazunk: 1. Pozícióhoz igazított szószám, amely a szószámot és a pozíciószámot kombinálja.

Az egyes komponensek hatásának elemzéséhez a két almetrika pontszámait külön-külön is közöljük. 2. Szubjektív benyomás, amely egy szubjektív mérőszám, amely hét különböző aspektust foglal magában: 1) a hivatkozott mondat relevanciája a felhasználói lekérdezéshez képest, 2) a hivatkozás befolyása, amely azt méri, hogy a generált válasz milyen mértékben támaszkodik a hivatkozásra, 3) a hivatkozás által bemutatott anyag egyedisége, 4) szubjektív pozíció, amely a forrás elhelyezésének kiemelkedőségét méri a felhasználó szemszögéből, 5) szubjektív szám, amely a hivatkozásból bemutatott tartalom mennyiségét méri,

a felhasználó által érzékelt módon, 6) annak valószínűsége, hogy a felhasználó rákattint a hivatkozásra, és 7) a bemutatott anyag sokszínűsége.

Ezek az almetrikák olyan különféle aspektusokat mérnek fel, amelyeket a tartalomkészítők megcélozhatnak egy vagy több terület hatékony fejlesztése érdekében. Minden almetrikát a GPT-3.5 segítségével értékelnek, a G-Eval [15]-ben leírtakhoz hasonló módszertant követve. A G-Evalban egy űrlap alapú értékelési sablont biztosítanak a nyelvi modellnek, valamint egy GE által generált választ, amely hivatkozásokat is tartalmaz.

A modell minden hivatkozáshoz egy pontszámot ad ki (többszörös mintavételezéssel számítva ki). Mivel azonban a G-Eval pontszámok rosszul kalibráltak, normalizáljuk őket, hogy megegyezzenek az átlagukkal és varianciájukkal, mint a pozícióhoz igazított szószám esetében, hogy lehetővé tegyük a tisztességes és értelmes összehasonlítást. A B.3. függelékben használt pontos sablonokat adjuk meg.

Továbbá az összes megjelenítési mutatót normalizáljuk úgy, hogy megszorozzuk őket egy állandó tényezővel, így a válaszban szereplő összes hivatkozás megjelenítéseinek összege 1. Elemzésünkben a módszereket a megjelenítés relatív javulásának kiszámításával hasonlítjuk össze. Egy kezdeti generált válaszhoz 𝑟 forrásokból 𝑆𝑖 ∈ {𝑠1, . . . , 𝑠𝑚 }, és egy módosított válasz 𝑟′ esetén az egyes források 𝑠𝑖 relatív benyomásjavulását a következőképpen mérjük:

A módosított választ 𝑟′ a GEO módszer az egyik forrásra történő alkalmazásával állítjuk elő. Az optimalizáláshoz kiválasztott forrás 𝑠𝑖 véletlenszerűen kerül kiválasztásra, de állandó marad egy adott lekérdezés esetében az összes GEO módszer esetében.

1. táblázat: A GEO módszerek abszolút megjelenítési metrikái a GEO-bench-en. Teljesítmény két metrikán és azok almetrikáin mérve. Az alapértékekhez képest az olyan egyszerű módszerek, mint a SEO-ban hagyományosan használt kulcsszóhalmozás, nem teljesítenek jól.

Azonban az általunk javasolt módszerek, mint a statisztikai összeadás és az idézetösszeadás, jelentős teljesítményjavulást mutatnak az összes metrikán. A legjobb módszerek 41%-kal, illetve 28%-kal javulnak az alapértékhez képest a pozícióhoz igazított szószám és a szubjektív megjelenítés tekintetében. Az olvashatóság érdekében a szubjektív megjelenítési pontszámokat normalizáljuk a pozícióhoz igazított szószámhoz képest, ami hasonló alapértékeket eredményez.

4. EREDMÉNYEK

Különböző generatív optimalizálási módszereket értékelünk, amelyek célja a weboldal tartalmának optimalizálása a generatív motor válaszaiban való jobb láthatóság érdekében, összehasonlítva egy optimalizálás nélküli alapértékkel.

Az értékelésünk a GEO-bench-et használta, amely egy változatos benchmark a felhasználói lekérdezések több domainből és beállításból származó változatos benchmarkja. A teljesítményt két mutatóval mértük: pozícióhoz igazított szószám és szubjektív benyomás. Az előbbi a szószámot és a hivatkozási pozíciót veszi figyelembe a GE válaszában, míg az utóbbi több szubjektív tényezőt számít ki, így egy összesített benyomási pontszámot ad.

Az 1. táblázat részletezi a különböző módszerek abszolút benyomási mutatóit több mutató alapján. Az eredmények azt mutatják, hogy GEO módszereink következetesen felülmúlják az alapértéket a GEO-bench összes mutatója tekintetében. Ez mutatja ezen módszerek robusztusságát a változó lekérdezésekkel szemben, ami jelentős javulást eredményez a lekérdezések sokfélesége ellenére.

Pontosabban, a legjobban teljesítő módszereink, a Forrás Megjelölés, az Idézetek és a Statisztikák hozzáadása, 30-40%-os relatív javulást értek el a pozícióhoz igazított szószám mutatóban és 15-30%-os relatív javulást a Szubjektív benyomás mutatóban. Ezek a módszerek, amelyek magukban foglalják a releváns statisztikák hozzáadását, a hiteles idézetek beépítését és a megbízható forrásokból származó hivatkozások beillesztését a weboldal tartalmába, minimális változtatásokat igényelnek, de jelentősen javítják a láthatóságot a GE válaszaiban, növelve mind a tartalom hitelességét, mind a gazdagságát.

Érdekes módon a stilisztikai változtatások, mint például a forrásszöveg folyékonyságának és olvashatóságának javítása szintén jelentős, 15-30%-os láthatósági növekedést eredményeztek. Ez arra utal, hogy a generatív motorok nemcsak a tartalmat, hanem az információk megjelenítését is értékelik.

Továbbá, mivel a generatív modelleket gyakran úgy tervezik, hogy utasításokat kövessenek, a weboldal tartalmában meggyőzőbb és hitelesebb hangvétel várható a láthatóság növelése érdekében.

Azonban nem találtunk jelentős javulást, ami azt mutatja, hogy a generatív motorok már most is némileg ellenállóak az ilyen változásokkal szemben. Ez rávilágít arra, hogy a weboldal tulajdonosoknak a tartalom megjelenítésének és hitelességének javítására kell összpontosítaniuk.

Végül értékeljük a kulcsszóhalmozást, azaz a relevánsabb kulcsszavak hozzáadását a weboldal tartalmához. Bár széles körben használják a keresőoptimalizálásban, úgy találjuk, hogy az ilyen módszerek alig vagy egyáltalán nem javítanak a generatív motorok válaszain. Ez rávilágít arra, hogy a weboldal tulajdonosoknak újra kell gondolniuk a generatív motorok optimalizálási stratégiáit, mivel a keresőmotorokban hatékony technikák nem feltétlenül vezetnek sikerre ebben az új paradigmában.

5. ELEMZÉS

5.1. Domain-specifikus generatív motor optimalizálások

A 4. szakaszban bemutattuk a GEO által elért fejlesztéseket a GEO-bench benchmark teljes egészében. A valós SEO-forgatókönyvekben azonban gyakran alkalmaznak domain-specifikus optimalizálásokat. Ezt szem előtt tartva, és figyelembe véve, hogy a GEO-bench minden lekérdezéshez kategóriákat biztosítunk, mélyebben beleássuk magunkat a különböző GEO-módszerek teljesítményébe ezekben a kategóriákban.

A 3. táblázat részletesen lebontja azokat a kategóriákat, ahol GEO-módszereink a leghatékonyabbnak bizonyultak. Az eredmények gondos elemzése számos érdekes megfigyelést tár fel. Például az Authoritative jelentősen javítja a teljesítményt a vita jellegű kérdésekben és a „történelmi” területhez kapcsolódó lekérdezésekben. Ez összhangban van az intuíciónkkal, mivel a meggyőzőbb írásmód valószínűleg nagyobb értéket képvisel a vitákban.

Hasonlóképpen, a hivatkozások hozzáadása különösen előnyös a tényszerű kérdések esetében, valószínűleg azért, mert a hivatkozások igazolási forrást biztosítanak a bemutatott tényekhez, ezáltal növelve a válasz hitelességét. A különböző GEO-módszerek hatékonysága területenként eltérő.

Például, ahogy a 3. táblázat 5. sora mutatja, az olyan területek, mint a „Jog és kormányzat”, valamint a „Vélemény” típusú kérdések jelentősen profitálnak a releváns statisztikák weboldal tartalmához való hozzáadásából, ahogyan azt a Statisztikai Kiegészítés megvalósítja. Ez arra utal, hogy az adatvezérelt bizonyítékok javíthatják egy weboldal láthatóságát bizonyos kontextusokban. Az Idézetkiegészítés módszer a leghatékonyabb az „Emberek és Társadalom”, a „Magyarázat” és a „Történelem” területeken.

Ez azért lehet, mert ezek a területek gyakran személyes narratívákat vagy történelmi eseményeket tartalmaznak, ahol a közvetlen idézetek hitelességet és mélységet adhatnak a tartalomhoz. Összességében elemzésünk azt sugallja, hogy a weboldal tulajdonosoknak törekedniük kell arra, hogy domain-specifikus célzott módosításokat végezzenek weboldalaikon a nagyobb láthatóság érdekében.

5.2 Több weboldal optimalizálása

A generatív motorok folyamatosan fejlődő környezetében a GEO módszerek várhatóan széles körben elterjednek, ami olyan forgatókönyvhöz vezet, amelyben az összes forrástartalmat GEO segítségével optimalizálják. A következmények megértése érdekében elvégeztük a GEO módszerek értékelését az összes forrástartalom egyidejű optimalizálásával, amelynek eredményeit a 2. táblázat mutatja be. Egy kulcsfontosságú megfigyelés a GEO eltérő hatása a weboldalakra a keresőmotorok találati oldalain (SERP) elfoglalt helyezésük alapján.

Figyelemre méltó, hogy az alacsonyabb rangú weboldalak, amelyek jellemzően a láthatóságért küzdenek, jelentősen jobban profitálnak a GEO-ból. Ez azért van, mert a hagyományos keresőmotorok több tényezőre támaszkodnak, például a backlinkek számára és a domain erősségére, amelyek a kis alkotók számára kihívást jelentenek.

Mivel azonban a generatív motorok a weboldal tartalmára épülő generatív modelleket használnak, az olyan tényezők, mint a backlinképítés, nem hozhatják hátrányba a kis alkotókat. Ez kiviláglik a láthatóság relatív javulásából, amelyet a 2. táblázat mutat.

Például a Forrás Megjelölése módszer jelentős, 115,1%-os növekedést eredményezett a SERP-ben ötödik helyen álló weboldalak láthatóságában, míg átlagosan a legmagasabb rangú weboldal láthatósága 30,3%-kal csökkent. Ez a megállapítás rávilágít a GEO lehetőségeire, mint a digitális tér demokratizálásának eszközére.

Sok alacsonyabb rangú weboldalt kis tartalomkészítők vagy független vállalkozások hoznak létre, akik hagyományosan hátrébb sorolódnak a nagyobb vállalatokkal való versenyben a keresőmotorok első találatai között. A generatív motorok megjelenése kezdetben hátrányosnak tűnhet ezekre a kisebb szervezetekre nézve.

A GEO módszerek alkalmazása azonban lehetőséget kínál ezeknek a tartalomkészítőknek, hogy jelentősen javítsák láthatóságukat a generatív motorok válaszaiban. Azáltal, hogy a GEO-val javítják tartalmukat, szélesebb közönséget érhetnek el, kiegyenlítik a versenyfeltételeket, és lehetővé teszik számukra, hogy hatékonyabban versenyezzenek a nagyobb vállalatokkal. 5.3 GEO stratégiák kombinációja

Míg az egyes GEO stratégiák jelentős javulást mutatnak a különböző területeken, a gyakorlatban a weboldal-tulajdonosoktól elvárják, hogy több stratégiát együttesen alkalmazzanak. A GEO stratégiák kombinálásával elért teljesítményjavulás vizsgálatához a 4 legjobban teljesítő GEO módszer összes kombinációját figyelembe vesszük, nevezetesen a Forrás Megjelölés, az Olvashatóság Javítás, a Statisztikák Hozzáadása és az Idézetek Hozzáadása módszert. A 4. ábra a különböző GEO stratégiák kombinálásával elért pozícióhoz igazított szószám láthatósági mutató relatív javulásának hőtérképét mutatja.

Az elemzés azt mutatja, hogy a Generatív Motor Optimalizálás módszerek kombinációja javíthatja a teljesítményt, a legjobb kombináció (Olvashatóság Javítása és Statisztikák Hozzáadása) több mint 5,5%-kal felülmúlja bármely önálló GEO stratégiát.

Továbbá, a Forrás Megjelölés jelentősen növeli a teljesítményt, ha más módszerekkel együtt alkalmazzák (átlag: 31,4%), annak ellenére, hogy önmaga viszonylag kevésbé hatékony (8%-kal alacsonyabb, mint az Idézetek Hozzáadása). Az eredmények aláhúzzák a GEO-módszerek kombinációs tanulmányozásának fontosságát, mivel a tartalomkészítők valószínűleg a való világban is használják azokat.

5.4 Kvalitatív elemzés

A 4. táblázatban a GEO-módszerek kvalitatív elemzését mutatjuk be, amely reprezentatív példákat tartalmaz, ahol a GEO-módszerek minimális változtatásokkal növelik a forrás láthatóságát. Mindegyik módszer optimalizálja a forrást megfelelő szövegkiegészítésekkel és -törlésekkel. Az első példában látjuk, hogy egy állítás forrásának egyszerű hozzáadása jelentősen növelheti a láthatóságot a végső válaszban, minimális erőfeszítést igényelve a tartalomkészítőtől.

A második példa azt mutatja, hogy a releváns statisztikák hozzáadása, ahol csak lehetséges, biztosítja a forrás láthatóságának növekedését a Generatív Motor végső válaszában. Végül a harmadik sor azt sugallja, hogy a szöveg egyes részeinek egyszerű kiemelése és a meggyőző szövegstílus használata szintén a láthatóság javulásához vezethet.

6. GEO A VADONBAN: KÍSÉRLETEK FELHASZNÁLT GENERATÍV MOTORRAL

5. táblázat: A GEO módszerek abszolút benyomási metrikái a GEO-bench-en, a Perplexity.ai-val, mint GE-vel. Míg a SEO módszerek, mint például a kulcsszókiegészítés, rosszul teljesítenek, a javasolt GEO módszereink jól általánosíthatók több generatív motorra, és jelentősen javítják a tartalom láthatóságát.

A javasolt Generatív Motor Optimalizálási módszereink hatékonyságának megerősítése érdekében azokat a Perplexity.ai-n, egy valódi, nagy felhasználói bázissal rendelkező Generatív Motoron értékeljük. Az eredmények az 5. táblázatban láthatók. Generatív motorunkhoz hasonlóan az Idézetösszeadás teljesít a legjobban a pozícióhoz igazított szószámban, 22%-os javulással az alapértékhez képest.

A generatív motorunkban jól teljesítő módszerek, mint például a Források idézése és a Statisztikák Hozzáadása, akár 9%-os, illetve 37%-os javulást mutatnak a két mutató esetében. Megfigyeléseink, mint például a hagyományos SEO-módszerek, mint például a Kulcsszóhalmozás, hatástalansága, tovább kiemelésre kerülnek, mivel 10%-kal rosszabbul teljesít, mint az alapérték.

Az eredmények három okból jelentősek: 1) hangsúlyozzák a különböző Generatív Optimalizálási (GEO) módszerek fejlesztésének fontosságát a tartalomkészítők javára, 2) rámutatnak a javasolt GEO-módszereink általánosíthatóságára különböző generatív motorokon, 3) bebizonyítják, hogy a tartalomkészítők közvetlenül használhatják a könnyen megvalósítható javasolt GEO-módszereinket, így nagy valós hatást érhetnek el. További részletekért a C.1. függeléket ajánljuk az olvasók figyelmébe.

7. KAPCSOLÓDÓ MUNKÁK

Bizonyítékokon alapuló válaszgenerálás: Korábbi munkák számos, forrásokon alapuló válaszgenerálási technikát alkalmaztak. Nakano és munkatársai [19] betanították a GPT-3-at webes környezetekben való navigálásra, forrásokon alapuló válaszok generálására. Hasonlóképpen, más módszerek [17, 23, 24] keresőmotorokon keresztül forrásokat keresnek a válaszgeneráláshoz. Munkánk egyesíti ezeket a megközelítéseket, és közös referenciaértéket biztosít e rendszerek jövőbeli fejlesztéséhez.

Egy nemrégiben készült munkatervben Kumar és Lakkaraju [11] kimutatták, hogy a stratégiai szövegsorozatok manipulálhatják az LLM ajánlásokat a termék láthatóságának javítása érdekében a generatív motorokban. Míg megközelítésük a termék láthatóságának növelésére összpontosít, kontrasztos szöveg segítségével, a mi módszerünk nem kontrasztos stratégiákat vezet be a weboldal tartalmának optimalizálására a generatív motor keresési eredményeinek jobb láthatósága érdekében.

Visszakereséssel Kiterjesztett Nyelvi Modellek: Számos újabb munka foglalkozott a nyelvi modellek korlátozott memóriájának problémáival, úgy, hogy releváns forrásokat kértek le egy tudásbázisból egy feladat elvégzéséhez [3, 9, 18]. A Generatív Motornak azonban választ kell generálnia, és a válaszban attribúciókat kell megadnia.

Továbbá a Generatív Motor nem korlátozódik egyetlen szövegmodalitásra a bemenet és a kimenet tekintetében. Ezenkívül a Generatív Motor keretrendszere nem korlátozódik a releváns források lekérésére, hanem több feladatot is magában foglal, például a lekérdezések újrafogalmazását, a forráskiválasztást, és a végrehajtásuk módjáról és idejéről szóló döntések meghozatalát.

Keresőoptimalizálás: Az elmúlt közel 25 évben kiterjedt kutatások optimalizálták a webes tartalmakat a keresőmotorok számára [2, 12, 22].

Ezek a módszerek az On-Page SEO-ba tartoznak, amely javítja a tartalom és a felhasználói élményt, valamint az Off-Page SEO-ba, amely a weboldal tekintélyét növeli a linképítés révén. Ezzel szemben a GEO egy összetettebb környezettel foglalkozik, amely multimodalitást, beszélgetési környezeteket foglal magában.

Mivel a GEO egy generatív modellhez van optimalizálva, amely nem korlátozódik az egyszerű kulcsszóegyeztetésre, a hagyományos SEO stratégiák nem vonatkoznak a Generatív Motor beállításaira, ami kiemeli a GEO szükségességét.

8. KÖVETKEZTETÉS

Ebben a munkában generatív modellekkel kiegészített keresőmotorokat dolgozunk ki, amelyeket generatív motoroknak nevezünk. A Generatív Optimalizálás (GEO) módszerét javasoljuk, hogy a tartalomkészítők optimalizálhassák tartalmukat a generatív motorok alatt.

Meghatározzuk a generatív motorok megjelenítési metrikáit, és javaslatot teszünk és kiadjuk a GEO-bench tesztet: egy olyan benchmarkot, amely több domainből és környezetből származó különféle felhasználói lekérdezéseket, valamint a lekérdezések megválaszolásához szükséges releváns forrásokat magában foglalja.

Számos módszert javasolunk a tartalom generatív motorok számára történő optimalizálására, és bemutatjuk, hogy ezek a módszerek akár 40%-kal is növelhetik a források láthatóságát a generatív motorok válaszaiban.

Többek között azt is megállapítottuk, hogy a hivatkozások, idézetek releváns forrásokból és statisztikák beillesztése jelentősen növelheti a források láthatóságát.

Továbbá felfedeztük a GEO módszerek hatékonyságának függését a lekérdezési tartománytól, valamint a több GEO stratégia együttes kombinálásának lehetőségét. Ígéretes eredményeket mutatunk be egy kereskedelmi forgalomban lévő, több millió aktív felhasználóval rendelkező generatív motoron, bemutatva munkánk valós hatását. Összefoglalva, munkánk az első, amely formalizál egy fontos és időszerű

GEO paradigmát, algoritmusokat és infrastruktúrát (benchmarkokat, adatkészleteket és metrikák) kiadva, hogy elősegítse a generatív motorok gyors fejlődését a közösség számára. Ez az első lépés a generatív motorok digitális térre gyakorolt ​​hatásának és a GEO szerepének megértése felé ebben az új keresőmotor-paradigmában.

9. KORLÁTOZÁSOK

Bár a javasolt módszereinket szigorúan teszteljük két generatív motoron, köztük egy nyilvánosan elérhetőn, a módszereknek idővel alkalmazkodniuk kell, ahogy a generatív motorok fejlődnek, tükrözve a SEO fejlődését.

Továbbá, annak ellenére, hogy erőfeszítéseket tettünk annak biztosítására, hogy a GEO- benchben szereplő lekérdezések szorosan hasonlítsanak a valós lekérdezésekhez, a lekérdezések jellege idővel változhat, ami folyamatos frissítéseket tesz szükségessé. Továbbá, a keresőmotor-algoritmusok fekete doboz jellege miatt nem értékeltük, hogy a GEO módszerek hogyan befolyásolják a keresési rangsorolást.

Azonban megjegyezzük, hogy a GEO-módszerek által végrehajtott változtatások célzott változtatások a szöveges tartalomban, amelyek némi hasonlóságot mutatnak a SEO-módszerekkel, miközben nem befolyásolnak más metaadatokat, például a domainnevet, a backlinkeket stb., és így kisebb valószínűséggel befolyásolják a keresőmotorok rangsorolását.

Továbbá, ahogy a nyelvi modellekben a nagyobb kontextushosszak gazdaságossá válnak, várható, hogy a jövőbeli generatív modellek több forrást tudnak majd befogadni, ezáltal csökkentve a keresési rangsorolás hatását.

Végül, bár a javasolt GEO-benchben minden lekérdezés címkézett és manuálisan ellenőrzött, eltérések lehetnek a szubjektív értelmezések vagy a címkézési hibák miatt.

10. KÖSZÖNETNYILVÁNÍTÁS

Ez az anyag a National Science Foundation által a 2107048. számú támogatás keretében támogatott munkán alapul. Az ebben az anyagban kifejtett vélemények, megállapítások és következtetések vagy ajánlások a szerző(k) véleményei, és nem feltétlenül tükrözik a National Science Foundation nézeteit.

Forrás: Arxiv

REFERENCIÁK

1. Alexander et al. (2022) Daria Alexander, Wojciech Kusa, and Arjen P. de Vries. 2022. Orcas-i: Queries annotated with intent using weak supervision. Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval.
2. Ankalkoti (2017) Prashant Ankalkoti. 2017. Survey on search engine optimization tools & techniques. Imperial journal of interdisciplinary research, 3.
3. Asai et al. (2021) Akari Asai, Xinyan Velocity Yu, Jungo Kasai, and Hannaneh Hajishirzi. 2021. One question answering model for many languages with cross-lingual dense passage retrieval. In Neural Information Processing Systems.
4. Chen et al. (2019) Sihao Chen, Daniel Khashabi, Wenpeng Yin, Chris Callison-Burch, and Dan Roth. 2019. Seeing things from a different angle:discovering diverse perspectives about claims. In North American Chapter of the Association for Computational Linguistics.
5. Craswell et al. (2021) Nick Craswell, Bhaskar Mitra, Emine Yilmaz, Daniel Fernando Campos, and Jimmy J. Lin. 2021. Ms marco: Benchmarking ranking models in the large-data regime. Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval.
6. Guu et al. (2020) Kelvin Guu, Kenton Lee, Zora Tung, Panupong Pasupat, and Ming-Wei Chang. 2020. Realm: Retrieval-augmented language model pre-training. ArXiv, abs/2002.08909.
7. Jansen et al. (2008) Bernard Jim Jansen, Danielle L. Booth, and Amanda Spink. 2008. Determining the informational, navigational, and transactional intent of web queries. Inf. Process. Manag., 44:1251–1266.
8. Ji et al. (2023) Ziwei Ji, Nayeon Lee, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto, and Pascale Fung. 2023. Survey of hallucination in natural language generation. ACM Computing Surveys, 55(12):1–38.
9. Kumar et al. (2019) R.Anil Kumar, Zaiduddin Shaik, and Mohammed Furqan. 2019. A survey on search engine optimization techniques. International Journal of P2P Network Trends and Technology.
10. Kwiatkowski et al. (2019) Tom Kwiatkowski, Jennimaria Palomaki, Olivia Redfield, Michael Collins, Ankur P. Parikh, Chris Alberti, Danielle Epstein, Illia Polosukhin, Jacob Devlin, Kenton Lee, Kristina Toutanova, Llion Jones, Matthew Kelcey, Ming-Wei Chang, Andrew M. Dai, Jakob Uszkoreit, Quoc V. Le, and Slav Petrov. 2019. Natural questions: A benchmark for question answering research. Transactions of the Association for Computational Linguistics, 7:453–466.
11. Liu et al. (2023a) Nelson F. Liu, Tianyi Zhang, and Percy Liang. 2023a. Evaluating verifiability in generative search engines. ArXiv, abs/2304.09848.
12. Liu et al. (2023b) Yang Liu, Dan Iter, Yichong Xu, Shuo Wang, Ruochen Xu, and Chenguang Zhu. 2023b. G-eval: Nlg evaluation using gpt-4 with better human alignment. ArXiv, abs/2303.16634.
13. Menick et al. (2022) Jacob Menick, Maja Trebacz, Vladimir Mikulik, John Aslanides, Francis Song, Martin Chadwick, Mia Glaese, Susannah Young, Lucy Campbell-Gillingham, Geoffrey Irving, and Nathan McAleese. 2022. Teaching language models to support answers with verified quotes. ArXiv, abs/2203.11147.
14. Mialon et al. (2023) Grégoire Mialon, Roberto Dessì, Maria Lomeli, Christoforos Nalmpantis, Ramakanth Pasunuru, Roberta Raileanu, Baptiste Rozière, Timo Schick, Jane Dwivedi-Yu, Asli Celikyilmaz, Edouard Grave, Yann LeCun, and Thomas Scialom. 2023. Augmented language models: a survey. ArXiv, abs/2302.07842.
15. Nakano et al. (2021) Reiichiro Nakano, Jacob Hilton, S. Arun Balaji, Jeff Wu, Ouyang Long, Christina Kim, Christopher Hesse, Shantanu Jain, Vineet Kosaraju, William Saunders, Xu Jiang, Karl Cobbe, Tyna Eloundou, Gretchen Krueger, Kevin Button, Matthew Knight, Benjamin Chess, and John Schulman. 2021. Webgpt: Browser-assisted question-answering with human feedback. ArXiv, abs/2112.09332.
16. Shahzad et al. (2020) A. Shahzad, Deden Witarsyah Jacob, Nazri M. Nawi, Hairulnizam Bin Mahdin, and Marheni Eka Saputri. 2020. The new trend for search engine optimization, tools and techniques. Indonesian Journal of Electrical Engineering and Computer Science, 18:1568.
17. Shuster et al. (2022) Kurt Shuster, Jing Xu, Mojtaba Komeili, Da Ju, Eric Michael Smith, Stephen Roller, Megan Ung, Moya Chen, Kushal Arora, Joshua Lane, Morteza Behrooz, W.K.F. Ngan, Spencer Poff, Naman Goyal, Arthur Szlam, Y-Lan Boureau, Melanie Kambadur, and Jason Weston. 2022. Blenderbot 3: a deployed conversational agent that continually learns to responsibly engage. ArXiv, abs/2208.03188.
18. Thoppilan et al. (2022) Romal Thoppilan, Daniel De Freitas, Jamie Hall, Noam M. Shazeer, Apoorv Kulshreshtha, Heng-Tze Cheng, Alicia Jin, Taylor Bos, Leslie Baker, Yu Du, Yaguang Li, Hongrae Lee, Huaixiu Steven Zheng, Amin Ghafouri, Marcelo Menegali, Yanping Huang, Maxim Krikun, Dmitry Lepikhin, James Qin, Dehao Chen, Yuanzhong Xu, Zhifeng Chen, Adam Roberts, Maarten Bosma, Yanqi Zhou, Chung-Ching Chang, I. A. Krivokon, Willard James Rusch, Marc Pickett, Kathleen S. Meier-Hellstern, Meredith Ringel Morris, Tulsee Doshi, Renelito Delos Santos, Toju Duke, Johnny Hartz Søraker, Ben Zevenbergen, Vinodkumar Prabhakaran, Mark Díaz, Ben Hutchinson, Kristen Olson, Alejandra Molina, Erin Hoffman-John, Josh Lee, Lora Aroyo, Ravindran Rajakumar, Alena Butryna, Matthew Lamm, V. O. Kuzmina, Joseph Fenton, Aaron Cohen, Rachel Bernstein, Ray Kurzweil, Blaise Aguera-Arcas, Claire Cui, Marian Rogers Croak, Ed Huai hsin Chi, and Quoc Le. 2022. Lamda: Language models for dialog applications. ArXiv, abs/2201.08239.
19. Zhou et al. (2023) Chunting Zhou, Pengfei Liu, Puxin Xu, Srini Iyer, Jiao Sun, Yuning Mao, Xuezhe Ma, Avia Efrat, Ping Yu, L. Yu, Susan Zhang, Gargi Ghosh, Mike Lewis, Luke Zettlemoyer, and Omer Levy. 2023. Lima: Less is more for alignment. ArXiv, abs/2305.11206.