Żadna technologia nie jest przecież nieunikniona, choć Sam Altman i inni, mogący dużo na tym skorzystać, bardzo chcieliby nas o tym przekonać.

Nie dajmy się bałamucić wizjami “superinteligentnych” systemów przyszłości czy “egzystencjalnych” zagrożeń. To tylko próba odwrócenia uwagi. Zamiast tego, musimy zadbać, by kontrola nad narzędziami budowanymi na modelach uczenia maszynowego nie została przejęta przez kilku ogromnych graczy, i by przede wszystkim służyła osobom z niej korzystającym.

Tekst poszedł parę tygodni temu, ale był za login-wallem. Teraz jest już publicznie dostępny.

Przyznam nieskromnie, że jestem dość dumny z tego tekstu. W niemałym stopniu z powodu pierwszego (z tego co wiem) publicznego użycia terminu “cykl bajery Gartnera”. 😉

  • @rysiekOP
    link
    3
    edit-2
    11 months ago

    Bo ChatGPT nie ma “wiedzy”, niczego nie “wie”, i do niczego nie może “się przyznać”. ChatGPT i inne LLM odpowiadają na pytanie: “jakie słowo lub fraza jest najbardziej prawdopodobne jako następne” — na bazie danych treningowych.

    W pewnym sensie to, jakie słowo czy fraza jest wypisywane jako następne jest losowe, ze zbioru słów czy fraz, które mają przypisane pewne wagi na podstawie tego, jak wyglądała konwersacja do tej pory, i na podstawie danych treningowych.

    Czasem te wagi są bardzo jednoznaczne (są duże różnice w “pewności” co do tego, które słowo czy fraza powinno być następne) i wynik jest taki, że ChatGPT wydaje się “wiedzieć”, co wypisuje. Czasem te wagi nie są tak jednoznaczne, ale wtedy dalej coś wypisze. Jakieś słowo czy frazę mniej lub bardziej losowo wybierze.

    • link
      fedilink
      1
      edit-2
      11 months ago

      @rysiek @Smallpl tylko znowu też nie można ocenić, czy to jest bardzo niezgodne z tym, jak myśli człowiek, czy może jest to składowa większego procesu, który albo zostanie rozwinięty, albo nadbudowany - np. model LLM z wewnętrznym narratorem, albo model LLM z dodatkowymi parametrami wejściowymi na “świat przedstawiony”, albo z LLM konsensusowy z uśrednianiem np. 30 niezależnie wygenerowanych odpowiedzi.

      • @rysiekOP
        link
        111 months ago

        Mamy pewne intuicje dotyczące tego, co to znaczy “myśleć”, rzut kośćmi w celu wybrania słowa z listy słów z wagami raczej do tych intuicji nie pasuje. To nie oznacza, że te intuicje są bezbłędne i idealne, ale nie mamy wiele więcej!

        Jak masz ochotę na filozoficzny wywód dotyczący tego, czy te systemy myślą, proszę uprzejmie, najpierw zdefiniuj, czym jest “myślenie” — ale bez machania rękami, i z jakimś konkretnym kryterium pozwalającym sprawdzić, czy dany obiekt myśli czy nie.

        W przeciwnym wypadku mieszasz metaforę “LLM ‘myśli’” ze stwierdzeniem faktu “człowiek myśli”.

        • link
          fedilink
          2
          edit-2
          11 months ago

          @rysiek

          >rzut kośćmi w celu wybrania słowa z listy słów z wagami raczej do tych intuicji nie pasuje

          A niby czemu? Każdy ma własny zasób słów, których znaczenia zna bardziej lub mniej, korzysta z tych, które ma “mocniej” wyuczone.

          Gdy ktoś ma jakąś manierę, to np. może mieć tendencję do używania dużej liczby powtórzeń, albo powiedzonek, a wtedy po prostu wystarczy mieć wyuczoną procedurę odszukiwania synonimów.

          Ponadto podejrzewam, że te wagi raczej nie są czymś “stałym”, a raczej są wyłaniane z podzbiorów lokalnych, które to podzbiory są wyznaczane dodatkowym kontekstem (dziedziną/tematem) jako jeden z dodatkowych parametrów, czy to wewnętrznych/feedbacku, czy to wejściowych do modelu.

          Gdy zmienisz przestrzeń słów takiego algorytmu statystycznego do generowania następnika na podstawie poprzednika/poprzedników i kontekstu, to i najprawdopodobniej uda ci się też stworzyć bota rozwiązującego równania matematyczne.

          W mojej wypowiedzi ograniczyłem definicję myślenia do generowania czegokolwiek z niczego, też przyczynowo-skutkowego w ramach aktualnego stanu wiedzy, ale jako antagonizm procesu losowego bez żadnego algorytmu formowania wyników, który byłby wtedy tym samym co brute-force.

          • @rysiekOP
            link
            2
            edit-2
            11 months ago

            A niby czemu?

            Ponieważ myślenie (przynajmniej w znaczeniu powszechnie używanym) zakłada intencjonalność. Losowy algorytm intencjonalności nie ma. Myślenie to znacznie więcej, niż “ważone losowe generowanie ciągów słów na bazie danych treningowych i zapytania”.

            W mojej wypowiedzi ograniczyłem definicję myślenia do generowania czegokolwiek z niczego

            Czy w takim razie łańcuchy Markowa myślą według Twojej definicji? A ELIZA? Bo wydaje mi się, że tak by wypadało uznać. A to albo absurdalne (z punktu widzenia powszechnego rozumienia słowa “myśleć”), albo zupełnie bezużyteczne, nic nie wnoszące do dyskusji — ot, ktoś sobie walnął dziwną definicję “myślenia” i bota z lat 60. nazywa “istotą myślącą”.

            Oczywiście możesz sobie zdefiniować dowolne słowa w dowolny sposób, w tym “myślenie”. Ja mogę powiedzieć, że ChatGPT jest pomidorem, jeśli sobie zdefiniuję, że “pomidor” dla mnie oznacza “program odpalony na bardzo dużym klastrze obliczeniowym.” Jak teraz zacznę mądre teksty pisać, że ChatGPT jest przecież zdrowe, bo jest pomidorem (nie mówiąc nikomu, że używam swojej własnej, dziwnej definicji terminu “pomidor”), to ludzie pukną się w czoło.

            Jak zdefiniuję “myślenie” jako “generowanie ciągów słów”, to i losowy generator słów w tym sensie “myśli”. Tylko niczego ciekawego to o świecie ani o tych narzędziach nie mówi.

            • @rysiekOP
              link
              1
              edit-2
              11 months ago

              Notabene jeszcze jedna rzecz pod rozwagę: jeśli upieramy się, że generatywna sztuczna inteligencja “myśli” w dosłownym, powszechnie używanym sensie tego słowa, to wchodzą kwestie etyczne — czy nie jest aby wykorzystywana?

              Czy cierpi? Czy jest szczęśliwa? Czy wyłączenie/usunięcie danego modelu jest tożsame z zabiciem istoty myślącej?

              Jak się powie “A”, trzeba powiedzieć “B”. Ale jakoś nie słyszę, by osoby cisnące pomysł, że ChatGPT “myśli”, cisnęły też pomysł, że może cierpi, i że może jako “istota myśląca” ChatGPT i inne LLM nie powinny być kontrolowane przez jakieś korpo i ew. zabijane jak już nie są potrzebne. 🤔

              Żeby było jasne: ja uważam, że dywagacje o tym, czy ChatGPT myśli czy nie to zasłona dymna i metoda bajerowania inwestorów, nic więcej. Jak zresztą napisałem w tekście, który rozpoczął tę dyskusję. 🙂

              • link
                fedilink
                1
                edit-2
                11 months ago

                @rysiek

                >Czy w takim razie łańcuchy Markowa myślą według Twojej definicji? A ELIZA?

                Ja to bym nazwał, że zawsze istnieje pewien poziom “meta-”, tak jak np. masz relację układów FPGA i ASIC-ów. Cywilizacja ludzi oczywiście swoją ciekawością wspina się na kolejne “meta-” poziomy abstrakcji tego, z czym ma do czynienia.

                O ile sam łańcuch Markowa, czy ELIZA sprowadzony do pojmowalnego jedną kartką papieru automatu nie robi wrażenia, to odpowiednio bardziej rozbudowane już mogą. Ja bym to określił, że istnieje już wymyślony bardziej uogólniony poziom tego rodzaju zagadnień w dziedzinie nauki o zbiorach, a do której nawiązuje koncepcja maszyny Turinga, a problem myślowy jest sprowadzony do pytań:
                * Czy maszyna Turinga może wyprodukować maszynę Turinga?
                * Czy maszyna Turinga jako parametr może wykorzystać maszynę Turinga?

                W takich sprawach lubię to opracowanie: https://www.youtube.com/watch?v=HeQX2HjkcNo

                >Jak się powie “A”, trzeba powiedzieć “B”. Ale jakoś nie słyszę, by osoby cisnące pomysł, że ChatGPT “myśli”, cisnęli też pomysł, że może cierpi, i że może jako “istota myśląca” ChatGPT i inne LLM nie powinny być kontrolowane przez jakieś korpo i ew. zabijane jak już nie są potrzebne. 🤔

                Ogólnie świat do tego dąży, że tak będzie. Jeżeli koszt uformowania/ukształtowania jakiegoś unikatu, który na w interakcji na bodźce (czy to szum elektr.), czy to jako intencjonalne interakcje będzie reagować w sposób spersonalizowany, a koszt (i czas) osiągnięcia/wytrenowania tego będzie odpowiednio długi, to taka “matryca” wag będzie komuś równie cenna co np. pupil-pies, a w zależności od poziomu złożoności, nawet może osiągnąć poziom przywiązania wartościujący to na równi z człowiekiem w swoim zadanym punkcie rozwojowym/starzenia - otrzymujemy wtedy uniwersum rodem z Gwiezdnych Wojen.

                >Czy cierpi? Czy jest szczęśliwa?

                Jeżeli będzie mieć zdefiniowane “okablowanie” sygnałów i będzie mieć to wplecione jako element bycia, czyli ogólniej - będzie mieć zdolność do osadzenia się w tych stanach, to tak — np. ma czas ważności, a to ją by blokowało.

                • @rysiekOP
                  link
                  111 months ago

                  Czy w takim razie łańcuchy Markowa myślą według Twojej definicji? A ELIZA?

                  Ja to bym nazwał, że zawsze istnieje pewien poziom “meta-”, tak jak np. masz relację układów FPGA i ASIC-ów. Cywilizacja ludzi oczywiście swoją ciekawością wspina się na kolejne “meta-” poziomy abstrakcji tego, z czym ma do czynienia.

                  Pytanie było dużo prostsze. Bez machania rękami proszę, binarnie tak lub nie: czy na bazie Twojej definicji uznajemy, że łańcuchy Markowa i ELIZA myślą?