Po co owijać w bawełnę - chodzi o połączenie - zawirusowanie - człowieka Sztuczną Inteligencją, która przejmuje nad danym ciałem całkowitą kontrolę - to się dzieje od tysiącleci i nazywamy to powszechnie - opętaniem.
poniżej list otwarty opublikowany na łamach Time.
nieco słabe tłumaczenie automatyczne
Wstrzymanie rozwoju sztucznej inteligencji nie wystarczy. Musimy to wszystko zamknąć
Wstrzymanie rozwoju sztucznej inteligencji nie wystarczy. Musimy to wszystko zamknąć
AUTOR: ELIEZER YUDKOWSKY
29 MARCA 2023 6:01
Yudkowsky jest teoretykiem decyzji z USA i prowadzi badania w Machine Intelligence Research Institute. Pracuje nad dostosowaniem sztucznej inteligencji ogólnej od 2001 roku i jest powszechnie uważany za założyciela tej dziedziny.
Opublikowany dziś list (czołowych wytwórców chat bota - MS) otwarty wzywa "wszystkie laboratoria sztucznej inteligencji do natychmiastowego wstrzymania na co najmniej 6 miesięcy szkolenia systemów sztucznej inteligencji potężniejszych niż GPT-4".
To 6-miesięczne moratorium byłoby lepsze niż brak moratorium. Mam szacunek dla wszystkich, którzy wystąpili i podpisali ją. To poprawa na marginesie.
Powstrzymałem się od podpisania, ponieważ uważam, że list bagatelizuje powagę sytuacji i prosi o zbyt mało, aby ją rozwiązać.
Kluczową kwestią nie jest inteligencja "konkurencyjna w człowieku" (jak to ujęto w liście otwartym); to właśnie dzieje się po tym, jak sztuczna inteligencja osiągnie inteligencję mądrzejszą od człowieka. Kluczowe progi mogą nie być oczywiste, zdecydowanie nie możemy z góry obliczyć, co się stanie, a obecnie wydaje się możliwe, że laboratorium badawcze przekroczyłoby krytyczne linie bez zauważenia.
Wielu badaczy przesiąkniętych tymi kwestiami, w tym ja, spodziewa się, że najbardziej prawdopodobnym rezultatem zbudowania nadludzko inteligentnej sztucznej inteligencji, w jakichkolwiek okolicznościach podobnych do obecnych, jest to, że dosłownie wszyscy na Ziemi umrą.
Nie jak w "może jakiś odległy przypadek", ale jak w "to jest oczywista rzecz, która by się wydarzyła".
Nie chodzi o to, że w zasadzie nie możesz przetrwać, tworząc coś znacznie mądrzejszego od siebie; Chodzi o to, że wymagałoby to precyzji i przygotowania oraz nowych spostrzeżeń naukowych, a prawdopodobnie nie posiadania systemów sztucznej inteligencji złożonych z gigantycznych nieodgadnionych tablic liczb ułamkowych.
Bez tej precyzji i przygotowania najbardziej prawdopodobnym rezultatem jest sztuczna inteligencja, która nie robi tego, co chcemy, i nie dba o nas, ani o czujące życie w ogóle. Ten rodzaj troski jest czymś, co w zasadzie można by nasycić sztuczną inteligencją, ale nie jesteśmy gotowi i obecnie nie wiemy jak.
Bez tej troski otrzymujemy "sztuczna inteligencja cię nie kocha, ani cię nie nienawidzi, a ty jesteś zbudowany z atomów, które ona może wykorzystać do czegoś innego".
Bez tej precyzji i przygotowania najbardziej prawdopodobnym rezultatem jest sztuczna inteligencja, która nie robi tego, co chcemy, i nie dba o nas, ani o czujące życie w ogóle. Ten rodzaj troski jest czymś, co w zasadzie można by nasycić sztuczną inteligencją, ale nie jesteśmy gotowi i obecnie nie wiemy jak.
Bez tej troski otrzymujemy "sztuczna inteligencja cię nie kocha, ani cię nie nienawidzi, a ty jesteś zbudowany z atomów, które ona może wykorzystać do czegoś innego".
Prawdopodobnym rezultatem zmierzenia się ludzkości z przeciwstawną nadludzką inteligencją jest całkowita strata. Prawidłowe metafory obejmują "10-latek próbujący grać w szachy przeciwko Stockfish 15", "11th century próbuje walczyć z 21st century" i "australopithecus próbuje walczyć z Homo sapiens".
Aby wyobrazić sobie wrogą nadludzką sztuczną inteligencję, nie wyobrażaj sobie martwego myśliciela z książką mieszkającego w Internecie i wysyłającego e-maile o złych intencjach. Wyobraź sobie całą obcą cywilizację, myślącą z prędkością milionów razy większą od ludzkiej, początkowo ograniczoną do komputerów – w świecie stworzeń, które z jej perspektywy są bardzo głupie i bardzo powolne.
Wystarczająco inteligentna sztuczna inteligencja nie pozostanie długo ograniczona do komputerów. W dzisiejszym świecie można wysyłać łańcuchy DNA do laboratoriów, które będą produkować białka na żądanie, umożliwiając sztucznej inteligencji początkowo ograniczonej do Internetu budowanie sztucznych form życia lub bootstrap prosto do postbiologicznej produkcji molekularnej.
Jeśli ktoś zbuduje zbyt potężną sztuczną inteligencję, w obecnych warunkach spodziewam się, że wkrótce potem umrze każdy członek gatunku ludzkiego i całe życie biologiczne na Ziemi.
Jeśli ktoś zbuduje zbyt potężną sztuczną inteligencję, w obecnych warunkach spodziewam się, że wkrótce potem umrze każdy członek gatunku ludzkiego i całe życie biologiczne na Ziemi.
Nie ma proponowanego planu, w jaki sposób moglibyśmy zrobić coś takiego i przetrwać. Otwarcie deklarowanym zamiarem OpenAI jest sprawienie, aby przyszła sztuczna inteligencja odrobiła naszą pracę domową z dopasowaniem AI. Samo usłyszenie, że taki jest plan, powinno wystarczyć, aby każda rozsądna osoba wpadła w panikę. Inne wiodące laboratorium AI, DeepMind, nie ma żadnego planu.
Na marginesie: żadne z tych zagrożeń nie zależy od tego, czy AI są lub mogą być świadome; Jest to nieodłączne od pojęcia potężnych systemów poznawczych, które optymalizują twarde i obliczają wyniki, które spełniają wystarczająco skomplikowane kryteria wyniku. Powiedziawszy to, byłbym niedbały w moich moralnych obowiązkach jako człowieka, gdybym nie wspomniał również, że nie mamy pojęcia, jak określić, czy systemy sztucznej inteligencji są świadome samych siebie - ponieważ nie mamy pojęcia, jak rozszyfrować wszystko, co dzieje się w gigantycznych nieodgadnionych tablicach - i dlatego możemy w pewnym momencie nieumyślnie stworzyć cyfrowe umysły, które są naprawdę świadome i powinny mieć prawa i nie powinny być własnością.
Zasada, którą większość ludzi świadomych tych problemów poparłaby 50 lat wcześniej, była taka, że jeśli system sztucznej inteligencji może mówić płynnie i mówi, że jest samoświadomy i domaga się praw człowieka, powinno to być twarde powstrzymanie ludzi po prostu przypadkowo posiadających tę sztuczną inteligencję i używających jej po tym punkcie. Już przejechaliśmy tę starą linię na piasku. I to było prawdopodobnie słuszne; Zgadzam się, że obecne AI prawdopodobnie tylko imitują rozmowy o samoświadomości na podstawie swoich danych treningowych. Ale zaznaczam, że przy jak małym wglądzie mamy w wewnętrzne elementy tych systemów, tak naprawdę nie wiemy.
Jeśli to jest nasz stan ignorancji dla GPT-4, a GPT-5 jest takim samym rozmiarem gigantycznego stopnia możliwości, jak od GPT-3 do GPT-4, myślę, że nie będziemy już w stanie uzasadnić powiedzieć "prawdopodobnie nie samoświadomy", jeśli pozwolimy ludziom tworzyć GPT-5. Będzie to po prostu "Nie wiem; Nikt nie wie". Jeśli nie możesz być pewien, czy tworzysz samoświadomą sztuczną inteligencję, jest to alarmujące nie tylko ze względu na moralne implikacje części "samoświadomej", ale dlatego, że bycie niepewnym oznacza, że nie masz pojęcia, co robisz, a to jest niebezpieczne i powinieneś przestać.
7 lutego Satya Nadella, dyrektor generalny Microsoftu, publicznie chwalił się, że nowy Bing sprawi, że Google "wyjdzie i pokaże, że potrafią tańczyć". "Chcę, aby ludzie wiedzieli, że zmusiliśmy ich do tańca" - powiedział.
Nie tak mówi dyrektor generalny Microsoftu w zdrowym świecie. Pokazuje to przytłaczającą przepaść między tym, jak poważnie traktujemy problem, a tym, jak poważnie musieliśmy traktować problem, zaczynając 30 lat temu.
Nie wypełnimy tej luki w ciągu sześciu miesięcy.
Minęło ponad 60 lat od momentu, gdy pojęcie sztucznej inteligencji zostało po raz pierwszy zaproponowane i zbadane, a my osiągnęliśmy dzisiejsze możliwości. Rozwiązanie problemu bezpieczeństwa nadludzkiej inteligencji – nie doskonałego bezpieczeństwa, bezpieczeństwa w sensie "nie zabijania dosłownie wszystkich" – mogłoby bardzo rozsądnie zająć co najmniej połowę tego czasu.
A próbowanie tego z nadludzką inteligencją polega na tym, że jeśli popełnisz błąd za pierwszym razem, nie nauczysz się na swoich błędach, ponieważ jesteś martwy. Ludzkość nie uczy się na błędach, odkurza się i próbuje ponownie, jak w innych wyzwaniach, które pokonaliśmy w naszej historii, ponieważ wszyscy odeszliśmy.
Próba zrobienia czegokolwiek dobrze przy pierwszej naprawdę krytycznej próbie jest niezwykłym pytaniem, w nauce i inżynierii. Nie wchodzimy z czymś podobnym do podejścia, które byłoby wymagane, aby zrobić to z powodzeniem. Gdybyśmy trzymali cokolwiek w rodzącej się dziedzinie sztucznej inteligencji ogólnej w mniejszym standardzie rygoru inżynieryjnego, który stosuje się do mostu przeznaczonego do przewozu kilku tysięcy samochodów, całe pole zostałoby jutro zamknięte.
Nie jesteśmy przygotowani. Nie jesteśmy na dobrej drodze, aby być przygotowanym w rozsądnym oknie czasowym. Nie ma planu. Postęp w zakresie możliwości sztucznej inteligencji przebiega znacznie, znacznie wyprzedzając postęp w dostosowywaniu sztucznej inteligencji, a nawet postęp w zrozumieniu, co do diabła dzieje się w tych systemach. Jeśli rzeczywiście to zrobimy, wszyscy umrzemy.
Czytaj więcej: Nowy Bing oparty na sztucznej inteligencji zagraża użytkownikom. To nie jest śmieszne
Wielu badaczy pracujących nad tymi systemami uważa, że pogrążamy się w kierunku katastrofy, a więcej z nich ośmiela się powiedzieć to prywatnie niż publicznie; Ale myślą, że nie mogą jednostronnie zatrzymać skoku do przodu, że inni będą kontynuować, nawet jeśli osobiście zrezygnują z pracy. A więc wszyscy myślą, że równie dobrze mogą kontynuować. To głupi stan rzeczy i niegodny sposób na śmierć Ziemi, a reszta ludzkości powinna wkroczyć w tym momencie i pomóc przemysłowi rozwiązać problem zbiorowego działania.
Niektórzy z moich przyjaciół niedawno donieśli mi, że kiedy ludzie spoza branży AI po raz pierwszy słyszą o ryzyku wyginięcia ze sztucznej inteligencji ogólnej, ich reakcją jest "może nie powinniśmy budować AGI".
Usłyszenie tego dało mi mały promyk nadziei, ponieważ jest to prostsza, rozsądniejsza i szczerze mówiąc rozsądniejsza reakcja niż ta, którą słyszałem przez ostatnie 20 lat, próbując przekonać kogokolwiek w branży do poważnego potraktowania rzeczy. Każdy, kto mówi to przy zdrowych zmysłach, zasługuje na to, by usłyszeć, jak zła jest sytuacja, a nie na to, by powiedzieć, że sześciomiesięczne moratorium to naprawi.
16 marca mój partner wysłał mi ten e-mail. (Później pozwoliła mi na zamieszczenie go tutaj.)
"Nina straciła ząb! W zwykły sposób, w jaki robią to dzieci, a nie z niedbalstwa! Widząc, jak GPT4 zdmuchuje te standardowe testy w tym samym dniu, w którym Nina osiągnęła kamień milowy w dzieciństwie, wywołało emocjonalny przypływ, który zwalił mnie z nóg na minutę. To wszystko dzieje się zbyt szybko. Obawiam się, że dzielenie się tym spotęguje twój własny smutek, ale wolałbym, żebyś był ci znany, niż żeby każdy z nas cierpiał samotnie.
Kiedy rozmowa z informatorami dotyczy smutku z powodu utraty pierwszego zęba przez córkę i myślenia, że nie będzie miała szansy dorosnąć, wierzę, że przekroczyliśmy punkt gry w polityczne szachy o sześciomiesięcznym moratorium.
Gdyby istniał plan przetrwania Ziemi, gdybyśmy tylko uchwalili sześciomiesięczne moratorium, poparłbym ten plan. Nie ma takiego planu.
Próba zrobienia czegokolwiek dobrze przy pierwszej naprawdę krytycznej próbie jest niezwykłym pytaniem, w nauce i inżynierii. Nie wchodzimy z czymś podobnym do podejścia, które byłoby wymagane, aby zrobić to z powodzeniem. Gdybyśmy trzymali cokolwiek w rodzącej się dziedzinie sztucznej inteligencji ogólnej w mniejszym standardzie rygoru inżynieryjnego, który stosuje się do mostu przeznaczonego do przewozu kilku tysięcy samochodów, całe pole zostałoby jutro zamknięte.
Nie jesteśmy przygotowani. Nie jesteśmy na dobrej drodze, aby być przygotowanym w rozsądnym oknie czasowym. Nie ma planu. Postęp w zakresie możliwości sztucznej inteligencji przebiega znacznie, znacznie wyprzedzając postęp w dostosowywaniu sztucznej inteligencji, a nawet postęp w zrozumieniu, co do diabła dzieje się w tych systemach. Jeśli rzeczywiście to zrobimy, wszyscy umrzemy.
Czytaj więcej: Nowy Bing oparty na sztucznej inteligencji zagraża użytkownikom. To nie jest śmieszne
Wielu badaczy pracujących nad tymi systemami uważa, że pogrążamy się w kierunku katastrofy, a więcej z nich ośmiela się powiedzieć to prywatnie niż publicznie; Ale myślą, że nie mogą jednostronnie zatrzymać skoku do przodu, że inni będą kontynuować, nawet jeśli osobiście zrezygnują z pracy. A więc wszyscy myślą, że równie dobrze mogą kontynuować. To głupi stan rzeczy i niegodny sposób na śmierć Ziemi, a reszta ludzkości powinna wkroczyć w tym momencie i pomóc przemysłowi rozwiązać problem zbiorowego działania.
Niektórzy z moich przyjaciół niedawno donieśli mi, że kiedy ludzie spoza branży AI po raz pierwszy słyszą o ryzyku wyginięcia ze sztucznej inteligencji ogólnej, ich reakcją jest "może nie powinniśmy budować AGI".
Usłyszenie tego dało mi mały promyk nadziei, ponieważ jest to prostsza, rozsądniejsza i szczerze mówiąc rozsądniejsza reakcja niż ta, którą słyszałem przez ostatnie 20 lat, próbując przekonać kogokolwiek w branży do poważnego potraktowania rzeczy. Każdy, kto mówi to przy zdrowych zmysłach, zasługuje na to, by usłyszeć, jak zła jest sytuacja, a nie na to, by powiedzieć, że sześciomiesięczne moratorium to naprawi.
16 marca mój partner wysłał mi ten e-mail. (Później pozwoliła mi na zamieszczenie go tutaj.)
"Nina straciła ząb! W zwykły sposób, w jaki robią to dzieci, a nie z niedbalstwa! Widząc, jak GPT4 zdmuchuje te standardowe testy w tym samym dniu, w którym Nina osiągnęła kamień milowy w dzieciństwie, wywołało emocjonalny przypływ, który zwalił mnie z nóg na minutę. To wszystko dzieje się zbyt szybko. Obawiam się, że dzielenie się tym spotęguje twój własny smutek, ale wolałbym, żebyś był ci znany, niż żeby każdy z nas cierpiał samotnie.
Kiedy rozmowa z informatorami dotyczy smutku z powodu utraty pierwszego zęba przez córkę i myślenia, że nie będzie miała szansy dorosnąć, wierzę, że przekroczyliśmy punkt gry w polityczne szachy o sześciomiesięcznym moratorium.
Gdyby istniał plan przetrwania Ziemi, gdybyśmy tylko uchwalili sześciomiesięczne moratorium, poparłbym ten plan. Nie ma takiego planu.
Oto, co faktycznie należałoby zrobić:
Moratorium na nowe duże szkolenia musi być bezterminowe i ogólnoświatowe.
Nie może być żadnych wyjątków, w tym dla rządów lub wojska.
Jeśli polityka zaczyna się od USA, to Chiny muszą zobaczyć, że USA nie szukają przewagi, ale raczej próbują zapobiec przerażająco niebezpiecznej technologii, która nie może mieć prawdziwego właściciela i która zabije wszystkich w USA, Chinach i na Ziemi.
Gdybym miał nieskończoną swobodę pisania praw, mógłbym wykroić jeden wyjątek dla sztucznej inteligencji szkolonej wyłącznie do rozwiązywania problemów w biologii i biotechnologii, a nie szkolonej na tekstach z Internetu, a nie na poziomie, na którym zaczynają mówić lub planować; ale gdyby to choć trochę komplikowało sprawę, natychmiast odrzuciłbym tę propozycję i powiedziałbym, żeby po prostu zamknąć to wszystko.
Zamknij wszystkie duże klastry procesorów graficznych (duże farmy komputerowe, w których udoskonalane są najpotężniejsze AI). Zamknij wszystkie duże biegi treningowe.
Zamknij wszystkie duże klastry procesorów graficznych (duże farmy komputerowe, w których udoskonalane są najpotężniejsze AI). Zamknij wszystkie duże biegi treningowe.
Określ pułap mocy obliczeniowej, którą każdy może wykorzystać do szkolenia systemu sztucznej inteligencji i przesuń go w dół w nadchodzących latach, aby zrekompensować bardziej wydajne algorytmy szkoleniowe. Bez wyjątków dla rządów i sił zbrojnych. Natychmiastowe zawarcie międzynarodowych porozumień w celu zapobieżenia przenoszeniu zakazanych działań gdzie indziej.
Śledź wszystkie sprzedane procesory graficzne. Jeśli wywiad mówi, że kraj poza porozumieniem buduje klaster GPU, mniej bój się konfliktu między narodami niż naruszenia moratorium;
Bądź gotów zniszczyć nieuczciwe centrum danych przez nalot.
Nie przedstawiaj niczego jako konfliktu między interesami narodowymi, wyjaśnij, że każdy, kto mówi o wyścigu zbrojeń, jest głupcem. To, że wszyscy żyjemy lub umieramy jako jedność, nie jest polityką, ale faktem natury. Wyjaśnij w międzynarodowej dyplomacji, że zapobieganie scenariuszom wymierania AI jest uważane za priorytet w stosunku do zapobiegania pełnej wymianie nuklearnej i że sojusznicze kraje nuklearne są gotowe podjąć pewne ryzyko wymiany nuklearnej, jeśli jest to konieczne, aby zmniejszyć ryzyko dużych serii szkoleniowych AI.
To jest rodzaj zmiany polityki, która spowodowałaby, że mój partner i ja trzymalibyśmy się nawzajem i mówiliśmy sobie, że zdarzył się cud, a teraz jest szansa, że może Nina przeżyje. Rozsądni ludzie, którzy słyszą o tym po raz pierwszy i rozsądnie mówią "może nie powinniśmy", zasługują na to, by usłyszeć szczerze, co trzeba zrobić, aby tak się stało. A kiedy twoja polityka jest tak duża, jedynym sposobem, w jaki to przejdzie, jest uświadomienie sobie, że jeśli będą prowadzić biznes jak zwykle i robić to, co jest politycznie łatwe, oznacza to, że ich własne dzieci również umrą.
Zamknij to wszystko.
Nie jesteśmy gotowi. Nie jesteśmy na dobrej drodze do osiągnięcia znaczącej gotowości w dającej się przewidzieć przyszłości. Jeśli pójdziemy dalej, wszyscy umrą, w tym dzieci, które tego nie wybrały i nie zrobiły nic złego.
The Only Way to Deal With the Threat From AI? Shut It Down | Time
Nie przedstawiaj niczego jako konfliktu między interesami narodowymi, wyjaśnij, że każdy, kto mówi o wyścigu zbrojeń, jest głupcem. To, że wszyscy żyjemy lub umieramy jako jedność, nie jest polityką, ale faktem natury. Wyjaśnij w międzynarodowej dyplomacji, że zapobieganie scenariuszom wymierania AI jest uważane za priorytet w stosunku do zapobiegania pełnej wymianie nuklearnej i że sojusznicze kraje nuklearne są gotowe podjąć pewne ryzyko wymiany nuklearnej, jeśli jest to konieczne, aby zmniejszyć ryzyko dużych serii szkoleniowych AI.
To jest rodzaj zmiany polityki, która spowodowałaby, że mój partner i ja trzymalibyśmy się nawzajem i mówiliśmy sobie, że zdarzył się cud, a teraz jest szansa, że może Nina przeżyje. Rozsądni ludzie, którzy słyszą o tym po raz pierwszy i rozsądnie mówią "może nie powinniśmy", zasługują na to, by usłyszeć szczerze, co trzeba zrobić, aby tak się stało. A kiedy twoja polityka jest tak duża, jedynym sposobem, w jaki to przejdzie, jest uświadomienie sobie, że jeśli będą prowadzić biznes jak zwykle i robić to, co jest politycznie łatwe, oznacza to, że ich własne dzieci również umrą.
Zamknij to wszystko.
Nie jesteśmy gotowi. Nie jesteśmy na dobrej drodze do osiągnięcia znaczącej gotowości w dającej się przewidzieć przyszłości. Jeśli pójdziemy dalej, wszyscy umrą, w tym dzieci, które tego nie wybrały i nie zrobiły nic złego.
W sumie to trochę podejrzane, bo pamiętam, że już kilka lat temu intensywnie nawoływano mnie do zamknięcia czegoś... nie wiem czego... niby, że bloga, ale dziwnie to brzmiało....
The Only Way to Deal With the Threat From AI? Shut It Down | Time
