Dziś przypadkiem trafiłem na lokalną alternatywę dla ChatGPT https://github.com/abacaj/mpt-30B-inference

Wypróbowałem i muszę powiedzieć, że działa całkiem ok. Porównywalne z ChatGPT. Zapytałem o kilka rzeczy i, tak jak z ChatGPT, szału nie było, ale karnie wykonywał wszystkie polecenia. Nie zmyślał jakoś zbyt mocno.

To co podoba mi się w tym projekcie to to, że działa dokładnie tak jak wg mnie powinny działać takie lokalne sieci neuronowe - na procesorze, a nie karcie graficznej. Więc tylko kwestią RAM-u jest czy można to gdzieś odpalić. Jak włoży się 64 gb ramu do starego PC to będzie działać spoko (choć wolniej - powiedzmy jedno słowo co kilka sekund). W przeciwieństwie do tych pozostałych modeli, gdzie koniecznie trzeba odpalać je na GPU - i to tylko takim za 4k PLN+