Planujemy przepisać crawler na Rusta, dzięki czemu będzie nieporównywalnie mniejsze zużycie zasobów na serwerach pod naszą kontrolą (no i będzie dzięki temu stabilniej, tak myślę).
Mam nadzieję, że nie zabrzmi arogancko – polecam skromnie Waszej uprzejmej uwadze tzw. formalną weryfikację projektu/oprogramowania, z rygorystyczną selekcją zastosowanych algorytmów (implikuje uwzględnienie złożoności czasowo-pamięciowej, zrównoleglalności) czy heurystyk oraz ich implementacji.
Zważcie uprzejmie na to, iż każda decyzja o przepisaniu softu w nowym języku/ekosystemie oznacza wielki (z punktu widzenia projektu FLOSS) koszt i na pewien czas “znikacie z widnokręgu”. Jeśli pracujecie wolontaryjnie, to uważajcie, aby nie wypalić devów.
Jeśli pracujecie wolontaryjnie, to uważajcie, aby nie wypalić devów.
Nas jest czterech, ile to “wypaleń” mieliśmy - aż ciężko zliczyć. No ale koniec końców, udało się. I działamy dalej. Na razie się zastanawiamy nad tym, jak możemy zindeksować obrazki (bo niestety nie znam żadnej publicznej instancji SearXNG, która oferuje pobieranie wyników w JSONie - niemniej funkcję też pod pobieranie obrazków z właśnie stąd napisaliśmy, żeby mieć ją w gotowości).
Ciekawa kombinacja! Ogólnie wyszedłem z założenia, że wbrew pozorom warto sobie rozdzielać aktywność między wielu dostawców. Skuteczne jest to w szczególności gdy przechodzisz z jednej instancji na drugą, żeby wyszukać coś co potrzebujesz. I tak w kółko. Są nawet wtyczki pod to, żeby to sobie ułatwić (ja korzystam z LibRedirecta).
Zaznaczę też, że SVMetaSearch już od dłuższego czasu nie istnieje; głównie ze względu na boty, które spamują zapytaniami, wyłączyłem tę instancję - i tak całkiem sporo zasobów już SearXNG zużywa, jakby nie patrzeć. Ale postępy można wciąż obserwować - sam projekt wyszukiwarki istnieje od 2022 roku, tylko już pod inną nazwą.
Zważcie uprzejmie na to, iż każda decyzja o przepisaniu softu w nowym języku/ekosystemie oznacza wielki (z punktu widzenia projektu FLOSS) koszt i na pewien czas “znikacie z widnokręgu”.
To była decyzja, którą podjęliśmy już pewien czas temu, nie podejmowaliśmy jej z dnia na dzień. Na ten moment jedynym dostępnym repozytorium jest ten od frontendu. Można jednak przejrzeć wszystko, co udało nam się już wypuścić, na https://git.nove.team/peekr.
Propsy za Wasz wkład, powodzenia!
Mam nadzieję, że nie zabrzmi arogancko – polecam skromnie Waszej uprzejmej uwadze tzw. formalną weryfikację projektu/oprogramowania, z rygorystyczną selekcją zastosowanych algorytmów (implikuje uwzględnienie złożoności czasowo-pamięciowej, zrównoleglalności) czy heurystyk oraz ich implementacji. Zważcie uprzejmie na to, iż każda decyzja o przepisaniu softu w nowym języku/ekosystemie oznacza wielki (z punktu widzenia projektu FLOSS) koszt i na pewien czas “znikacie z widnokręgu”. Jeśli pracujecie wolontaryjnie, to uważajcie, aby nie wypalić devów.
Disclaimer: szukając w Webie, nieraz używa[łe]m kombinacji SVMetaSearch + Qwant + Ecosia.
Nas jest czterech, ile to “wypaleń” mieliśmy - aż ciężko zliczyć. No ale koniec końców, udało się. I działamy dalej. Na razie się zastanawiamy nad tym, jak możemy zindeksować obrazki (bo niestety nie znam żadnej publicznej instancji SearXNG, która oferuje pobieranie wyników w JSONie - niemniej funkcję też pod pobieranie obrazków z właśnie stąd napisaliśmy, żeby mieć ją w gotowości).
Ciekawa kombinacja! Ogólnie wyszedłem z założenia, że wbrew pozorom warto sobie rozdzielać aktywność między wielu dostawców. Skuteczne jest to w szczególności gdy przechodzisz z jednej instancji na drugą, żeby wyszukać coś co potrzebujesz. I tak w kółko. Są nawet wtyczki pod to, żeby to sobie ułatwić (ja korzystam z LibRedirecta).
Zaznaczę też, że SVMetaSearch już od dłuższego czasu nie istnieje; głównie ze względu na boty, które spamują zapytaniami, wyłączyłem tę instancję - i tak całkiem sporo zasobów już SearXNG zużywa, jakby nie patrzeć. Ale postępy można wciąż obserwować - sam projekt wyszukiwarki istnieje od 2022 roku, tylko już pod inną nazwą.
To była decyzja, którą podjęliśmy już pewien czas temu, nie podejmowaliśmy jej z dnia na dzień. Na ten moment jedynym dostępnym repozytorium jest ten od frontendu. Można jednak przejrzeć wszystko, co udało nam się już wypuścić, na https://git.nove.team/peekr.