ChatGPT: proč o tom všichni mluví?
La ChatGPT vyšel 30. listopadu znamenalo novou etapu ve vývoji technologií zpracování jazyka. Je to každopádně poprvé, co systém umělé inteligence, přímo vyplývající z výzkumu, vzbudil takové nadšení: řada článků se objevila v odborném, ale i obecném tisku. ChatGPT (nebo OpenAI, společnost, která vyvíjí ChatGPT, nebo obojí) jsou na Twitteru stále trendy i dnes.
Proč taková ozvěna? Jsou schopnosti ChatGPT odchylkou od předchozích technologií schopných generovat text?
ChatGPT umí chatovat
Je zřejmé, že ChatGPT umožnil kvalitativní skok: je schopen odpovědět, často relevantním způsobem, téměř jakýkoli dotaz v přirozeném jazyce. GPT2, pak GPT3 - předchozí jazykové modely vyvinuté OpenAI - byly již velmi dobré v generování textu z několika slov nebo vět zadaných jako základ (co se nazývá „výzva“): často jsme mluvili o „papoušcích“ (stochastičtí papoušci), jak je navrženo Emily Benderová, a mnoho dalších vědci kritici těchto technik. Dalo by se říci, že tyto systémy vytvářely text z úryvků vět čerpaných z nesmírných korpusů, které měli k dispozici... i když tento obraz papouška musí být kvalifikován: systémy neopakují úryvky slovo od slova, ale vytvářejí obecně originální text převzetím, parafrází, kombinací prvků viděných v různých korpusech.
ChatGPT přebírá tyto vlastnosti, ale část „chat“ (dialog) přidává zcela jiný rozměr a často zdánlivě ohromující.
Systém již nevytváří pouze odstavec z věty zadané jako vstup. Nyní je schopen správně odpovídat na jednoduché i složité otázky, mimo jiné umí poskytnout prvky uvažování, mluvit různými jazyky, analyzovat nebo vytvářet počítačový kód.
Například na otázku, zda se dvě postavy mohly potkat, je systém schopen určit data odpovídající jejich existenci, porovnejte tato data a vyvoďte odpověď. To je pro člověka triviální, ale žádný systém dosud nedokázal odpovědět na tento typ otázek tak přesně, aniž by byl vysoce specializovaný. Kromě jazyka může poskytnout také ChatGPT prvky matematického uvažování (ale často se mýlí) A analyzovat počítačový kód zvláště.
Z tohoto pohledu je ChatGPT o krok napřed před svými konkurenty.
ChatGPT, uzavřený systém
Ohledně fungování systému těžko říci více, protože OpenAI navzdory svému názvu vyvíjí uzavřené systémy. To znamená, že použitý počítačový kód (zdrojový kód) není k dispozici a výzkum související s ChatGPT zůstává prozatím převážně obchodním tajemstvím – i když samozřejměostatní týmy pracují na podobné systémy, také založené na hlubokém učení. Takže máme představu o tom, co používá OpenAI.
Jiné společnosti si ponechaly otevřenější model, například Meta s prací na FAIR, obvykle otevřené a publikované na významných konferencích v oboru. Ale obecněji jsme stále častěji svědky uzavírání výzkumu. Například zatímco Apple měl vždy vývojový model soukromé a velmi tajné, Deepmind měla otevřený model a je pravděpodobně o něco méně, nyní, když je společnost pod kontrolou společnosti Google.
Samotný systém ChatGPT by mohl jít komerčně: OpenAI je financována společností Microsoft kdo by se mohl jednoho dne rozhodnout uzavřít přístup do systému, pokud to bude v jeho zájmu.
Testováním ChatGPT přispíváte (zdarma) k jeho vylepšení
Mezitím OpenAI těží z obrovské publicity, kterou mu jeho nástroj přináší, a také ze všech interakcí uživatelů s ním. Pokud uživatel nahlásí, že odpověď není dobrá, nebo požádá nástroj, aby přeformuloval svou odpověď s přihlédnutím k dalšímu prvku, je to tolik informací, kolik systém ukládá a může je znovu použít k upřesnění své odpovědi příště, na požádání. nebo na podobnou žádost. Testováním ChatGPT, pracujeme zdarma pro OpenAI !
Abychom se vrátili k samotnému systému, dialogová část je tedy to, co dělá sílu a zvláštnost ChatGPT (ve srovnání například s GPT3). Už to není „jednoduchý“ jazykový model schopný generovat text „na kilometry“, ale skutečný dialogový systém. Tento pravděpodobně těžil z milionů nebo miliard příkladů hodnoceno lidmia současná fáze – kdy si se systémem „hrají“ stovky tisíc uživatelů téměř zdarma – stále umožňuje jeho neustálé vylepšování, protože k tomu jsou samozřejmě zaznamenávány a využívány všechny interakce.
Nyní je poměrně snadné přistupovat ke korpusům miliard slov pro vývoj jazykového modelu typu „GPT“, alespoň pro jazyky, které jsou široce používány na internetu.
Ale data, která umožnila vývoj ChatGPT (dialogy, interakce s lidmi), nejsou veřejná a právě to dává OpenAI značnou výhodu oproti konkurenci.
Například Google má jiná data, ale nepochybně také použitelná pro tento typ systému – zvláště když Google již několik let vyvíjí znalostní graf který by mohl generovat odpovědi s lepší spolehlivostí než ChatGPT. Zejména analýza sekvencí dotazů z vyhledávače Google by mohla poskytnout cenné informace, které by vedly k interakci s uživatelem... Ale zatím je to OpenAI, která má ChatGPT, a ne Google: OpenAi má výhodu.
Jaké aplikace kromě ChatGPT v budoucnu?
Ve skutečnosti, i když je to možné obejít limity ChatGPT, systém odmítá vysvětlit, jak vytvořit bombu, vyrobit erotické příběhy nebo dát její pocity (ChatGPT často odpovídá, že je stroj, ženemá žádné city ani osobnost). OpenAI má evidentně o komunikaci postaráno. Společnost také věnovala extrémní péči „obrnění“ systému, aby mu umožnila překazit většinu nástrah, které mohou tento typ aplikace zničit během několika hodin, jak se to často stává u systémů otevřených široké veřejnosti.
Můžeme například uvést Meta, která loni v listopadu musela stáhnout svůj systém s názvem „Galactica“ dva dny po jeho uvedení online. Galactica byla vyškolena ve vědecké oblasti a navržena tak, aby poskytovala služby výzkumníkům. Poprvé byl představen jako schopen automaticky psát vědecké práce na výzvu…než společnost upřesnila, že se zjevně jednalo pouze o redakční pomůcku. Ale tato nešťastná komunikační strategie vyvolala kontroverzi, která donutila Meta rychle odpojit Galacticu.
Naopak ChatGPT je stále online a stále vzbuzuje tolik vášní u velkého publika. Zůstávají však otázky: jaký dopad bude mít ChatGPT? Jaké aplikace z něj budou odvozeny? A k jakému ekonomickému modelu společnost OpenAI (a Microsoft, její hlavní investor) míří?
Thierry poibeau, DR CNRS, École normale supérieure (ENS) - PSL
Tento článek je publikován z Konverzace pod licencí Creative Commons. Čístpůvodní článek.
