Изследванията на изкуствен интелект са пожар в контейнера за боклук и Google държи мачовете


Светът на изследванията на AI е в разруха. От академичните среди, които дават приоритет на схемите, лесни за монетизиране, пред разрушаването на нови основи, до елита на Силиконовата долина, използващ заплахата от загуба на работа, за да насърчи хипотези, удобни за корпорациите, системата е разбита бъркотия.

И Google заслужава лъвска част от вината.

Как започна

Имаше около 85 000 научни статии публикувани в световен мащаб по темата AI/ML през 2000 г. Превъртете напред до 2021 г. и имаше почти два пъти повече публикувани само в САЩ.

Да се ​​каже, че е имало експлозия в полето, би било силно подценяване. Този приток на изследователи и нови идеи доведе до превръщането на дълбокото обучение в една от най-важните технологии в света.

Между 2014 и 2021 г. големите технологии почти изоставиха своите принципи „на първо място в мрежата“ и „първо мобилни устройства“, за да приемат стратегии „първо AI“.

Сега, през 2022 г., разработчиците и изследователите на AI са по-търсени (и получават повече заплата) от почти всички други работни места в технологиите извън C-suite.

Но този вид неограничен растеж има и тъмна страна. В борбата за посрещане на пазарното търсене на продукти и услуги, базирани на задълбочено обучение, тази област стана толкова главоломна и непостоянна като професионалния спорт.

През последните няколко години видяхме „GAN татко,” Иън Гудфелоу, прескочи кораб от Google до Apple, Тимнит Гебру и други биват уволнени от Google за различни мнения относно ефикасността на изследванията и виртуален торент от съмнителни статии за изкуствен интелект успяват по някакъв начин да изчистят партньорската проверка.

Потокът от таланти, който пристигна в резултат на експлозията за дълбоко обучение, също донесе кал от лоши изследвания, измами и корпоративна алчност.

Как е

Google, повече от всяка друга компания, носи отговорност за модерната парадигма на AI. Това означава, че трябва да дадем пълна оценка на голямото G за предоставянето на обработка на естествен език и разпознаване на изображения на масите.

Това също така означава, че можем да кредитираме Google за създаването на средата „изследовател-яде-изследовател”, в която някои студенти и техните преподаватели с големи технологични партньори третират научните статии като малко повече от примамка за рискови капиталисти и корпоративни ловци на глави.

На върха Google показа желанието си да наеме най-талантливите изследователи в света. И също така много пъти е демонстрирано, че ще ги изстреля за миг, ако не спазват линията на компанията.

Компанията направи заглавия по целия свят, след като уволни Тимнит Гебру, изследовател, който беше наела да ръководи отдела по етика на ИИ, през декември 2020 г. Само няколко месеца по-късно уволни друг член на екипа, Маргарет Мичъл.

Google твърди, че работата на изследователите не е била в съответствие със спецификациите, но както жените, така и многобройните поддръжници твърдят, че уволненията са се случили едва след като са повдигнали етични опасения относно изследванията, които шефът на AI на компанията Джеф Дийн е подписал.

Сега е едва повече от година по-късно и историята се повтаря. Google уволни друг световноизвестен изследовател на ИИСатраджит Чатърджи, след като ръководи екип от учени в оспорването на друг документ, който Дийн е подписал.

Ефектът на калните свлачища

На върха това означава, че конкуренцията за високоплатени работни места е жестока. И ловът за следващия талантлив изследовател или разработчик започва по-рано от всякога.

Студентите, които работят за напреднали степени в областта на машинното обучение и AI, които в крайна сметка искат да работят извън академичните среди, се очаква да създадат или съавторират изследователски статии, които демонстрират техния талант.

За съжаление, тръбопроводът от академичните среди до големите технологии или стартиращият свят, ръководен от VC, е осеян с скапани статии, написани от студенти, чиято цел е да пишат алгоритми, които могат да бъдат монетизирани.

Бързо търсене в Google Scholar за „обработка на естествен език“ например показва близо милион посещения. Много от изброените статии имат стотици или хиляди цитати.

На пръв поглед това би означавало, че НЛП е процъфтяваща подгрупа от изследвания за машинно обучение, която е привлякла вниманието от изследователи по целия свят.

Всъщност търсенията на „изкуствена невронна мрежа“, „компютърно зрение“ и „учене с подсилване“ доведоха до подобно пренасищане с резултати.

За съжаление, значителна част от изследванията на AI и ML са или умишлено измамни, или пълни с лоша наука.

Това, което може да е работило добре в миналото, бързо се превръща в потенциално остарял начин за комуникация на изследвания.

Стюарт Ричи от The Guardian наскоро написа статия чудейки се дали трябва да премахнем изцяло научните статии. Според тях проблемите на науката са заложени доста дълбоко:

Тази система идва с големи проблеми. Основен сред тях е проблемът с пристрастието към публикацията: рецензентите и редакторите са по-склонни да дадат добър текст на научна статия и да я публикуват в своето списание, ако отчита положителни или вълнуващи резултати. Така че учените полагат много усилия, за да увеличат своите проучвания, да разчитат на своите анализи, за да дадат „по-добри“ резултати, и понякога дори извършват измами, за да впечатлят тези изключително важни пазители. Това драстично изкривява представата ни за това какво наистина се е случило.

Проблемът е, че вратарите, които всеки се опитва да впечатли, са склонни да държат ключовете за бъдещата работа на студентите и приемането на академичните среди в престижни списания или конференции – изследователите може да не успеят да получат тяхното одобрение на свой собствен риск.

И дори ако даден документ успее да премине през партньорска проверка, няма гаранция, че хората, които прокарват нещата, не спят на превключвателя.

Ето защо Гийом Кабанак, доцент по компютърни науки в университета в Тулуза, създаде проект, наречен Проблемна машина за проверка на хартия (PPS).

PPS използва автоматизация, за да маркира документи, съдържащи потенциално проблематичен код, математика или многословие. В духа на науката и справедливостта, Cabanac гарантира, че всеки документ, който е маркиран, получава ръчен преглед от хора. Но работата вероятно е твърде голяма, за да вършат шепа хора в свободното си време.

Според а доклад от Spectrum News, има много проблемни вестници. И по-голямата част са свързани с машинното обучение и AI:

Скринингът смята, че около 7650 проучвания са проблематични, включително повече от 6000 за измъчвани фрази. Повечето статии, съдържащи измъчени фрази, изглежда идват от областта на машинното обучение, изкуствен интелект и инженерство.

Измъчени фрази са термини, които повдигат червени знамена пред изследователите, защото се опитват да опишат процес или концепция, които вече са добре установени.

Например, използването на термини като „фалшива нервна система“ или „изкуствена нервна система“ може да означава използването на добавка за тезаурус, използвана от лоши актьори, които се опитват да се разминат с плагиатство на предишна работа.

Решението

Въпреки че Google не може да бъде обвиняван за всичко неблагоприятно в областта на машинното обучение и AI, той изигра огромна роля в прехвърлянето на рецензирани изследвания.

Това не означава, че Google не подкрепя и подкрепя научната общност чрез отворен код, финансова помощ и подкрепа за научни изследвания. И със сигурност не се опитваме да намекнем, че всеки, който изучава AI, просто иска да изкара бързи пари.

Но системата е създадена, за да насърчи монетизирането на алгоритмите първо и да допълни полето, второ. За да се промени това, големите технологии и академичните среди трябва да се ангажират с реформа на едро в начина на представяне и преглед на изследванията.

Понастоящем няма широко признат орган на трети страни за проверка на документи. Системата за партньорска проверка прилича повече на кодекс на честта, отколкото на набор от договорени принципи, следвани от институциите.

Въпреки това, има предимство за създаването и функционирането на комитет за надзор с обхват, влияние и опит, за да управлява извън академичните граници: NCAA.

Ако можем да обединим една система за честно състезание за хиляди аматьорски програми по лека атлетика, сигурно е, че бихме могли да сформираме управителен орган, който да установи насоки за академични изследвания и преглед.

И що се отнася до Google, има по-голям от нула шанс главният изпълнителен директор Сундар Пичай да се окаже отново извикан пред конгреса, ако компанията продължи да уволнява изследователите, които наема, за да наблюдават своите етични програми за изкуствен интелект.

Американският капитализъм означава, че бизнесът обикновено е свободен да наема и уволнява когото си поиска, но акционерите и работниците също имат права.

В крайна сметка Google ще трябва да се ангажира с етични изследвания или ще се окаже неспособен да се конкурира с компаниите и организациите, които желаят.