Skocz do zawartości

Camis

Użytkownik
  • Postów

    4 564
  • Dołączył

  • Wygrane w rankingu

    29

Treść opublikowana przez Camis

  1. Trochę przerobiony skrypt, generuje linki i od razu zaczyna je ściągać. Dodatkowo każdy oddzielny temat zapisuje do swojego katalogu i każdą stronę kompresuję 7-zip (mi wygodniej 7-zip bo wszystko mam w tym formacie). Dzięki temu strona nie zajmuje ~8-12mb tylko około ~2-4mb. Strony które nie udało się pobrać zapisuje do oddzielnego pliku failed_file. #!/bin/bash # Plik wejsciowy z linkami input_file="links.txt" # Plik z nieudanymi adresami URL failed_file="failed_links.txt" # Usun istniejacy plik z nieudanymi linkami rm -f "$failed_file" # Przetwarzanie linków while IFS= read -r line; do # Pomijanie linii zaczynajacych sie od # [[ "$line" =~ ^# ]] && continue # Ekstrakcja numeru strony z URL page_number=$(echo "$line" | grep -o 'page/[0-9]*' | cut -d'/' -f2) # Jesli numer strony nie istnieje, ustaw 1 if [ -z "$page_number" ]; then page_number=1 fi # Ekstrakcja tematu z URL (numer i tytul) topic=$(echo "$line" | sed -E 's|https://forum.pclab.pl/topic/([0-9]+-[^/]+)/.*|\1|') # Utwórz folder dla danego tematu mkdir -p "$topic" # Pobieranie strony 1 (bez /page/1, jesli jest tylko jedna strona) if [ "$page_number" -eq 1 ]; then output_file="${topic}/${topic}.html" command="monolith https://forum.pclab.pl/topic/$topic -t 15 -s -o $output_file" echo "Uruchamianie: $command" if ! eval "$command"; then echo "https://forum.pclab.pl/topic/$topic" >> "$failed_file" else 7z a "${output_file}.7z" "$output_file" >/dev/null 2>&1 rm "$output_file" fi else output_file="${topic}/${topic}.html" command="monolith https://forum.pclab.pl/topic/$topic -t 15 -s -o $output_file" echo "Uruchamianie: $command" if ! eval "$command"; then echo "https://forum.pclab.pl/topic/$topic" >> "$failed_file" else 7z a "${output_file}.7z" "$output_file" >/dev/null 2>&1 rm "$output_file" fi # Pobieranie stron od 2 do ostatniej for i in $(seq 2 "$page_number"); do output_file="${topic}/${topic}-page-$i.html" command="monolith https://forum.pclab.pl/topic/$topic/page/$i -t 15 -s -o $output_file" echo "Uruchamianie: $command" if ! eval "$command"; then echo "https://forum.pclab.pl/topic/$topic/page/$i" >> "$failed_file" else 7z a "${output_file}.7z" "$output_file" >/dev/null 2>&1 rm "$output_file" fi done fi done < "$input_file" echo "Proces zakonczony. Nieudane adresy zapisano w $failed_file."
  2. Sorry ale wolałem nie ryzykować powtórki i "zaktualizowałem bazę wirusów" O i przyszedł szur.
  3. A będzie coraz gorzej i będą zmuszeni obniżać poprzeczkę. Demografia robi swoje i już brakuje kilkudziesięciu tysięcy wakatów. Ale pewien jegomość w temacie o demografii twierdził że damy sobie rade z tym bo będą roboty i AI
  4. A tutaj skrypt dla Linuxa, wystarczy w pliku links.txt wkleić linki do tematów których chcemy wygenerować. Tylko trzeba wkleić link do ostatniej strony tematu np: https://forum.pclab.pl/topic/774052-off-polityczny/page/6620/ https://forum.pclab.pl/topic/1340132-transformacja-energetyczna-oze-paliwa-kopalne-co2-ceny-energii-elektromobilność/page/310/ https://forum.pclab.pl/topic/1368500-wojny-i-konflikty-zbrojne-na-świecie/page/35/ #!/bin/bash # Plik wejściowy z linkami input_file="links.txt" # Plik wyjściowy z komendami output_file="monolith_commands.sh" # Usuń istniejący plik wyjściowy, jeśli istnieje rm -f "$output_file" # Przetwarzanie linków while IFS= read -r line; do # Ekstrakcja numeru strony z URL page_number=$(echo "$line" | grep -o 'page/[0-9]*' | cut -d'/' -f2) # Jeśli numer strony nie istnieje, ustaw 1 if [ -z "$page_number" ]; then page_number=1 fi # Ekstrakcja tematu z URL (numer i tytuł) topic=$(echo "$line" | sed -E 's|https://forum.pclab.pl/topic/([0-9]+-[^/]+)/.*|\1|') # Generowanie komendy dla strony 1 (bez /page/1, jeśli jest tylko jedna strona) if [ "$page_number" -eq 1 ]; then echo "monolith https://forum.pclab.pl/topic/$topic -o ${topic}.html" >> "$output_file" else echo "monolith https://forum.pclab.pl/topic/$topic -o ${topic}.html" >> "$output_file" # Generowanie komend dla stron od 2 do ostatniej for i in $(seq 2 "$page_number"); do echo "monolith https://forum.pclab.pl/topic/$topic/page/$i -o ${topic}-page-$i.html" >> "$output_file" done fi done < "$input_file" echo "Komendy monolith zostały zapisane do pliku $output_file"
  5. IQ 2137 pisowców, ciekawe czy będzie narracja o ataku hakierów: https://wiadomosci.onet.pl/kraj/takie-instrukcje-dostali-sms-em-poslowie-pis-wyciekl-przekaz-dnia/g76w5hv
  6. Pisior Palad w ekstazie, ale fakt może tak być że TVN i Polsat przejmie PIS:
  7. Miałem covid, ciężko przeszedłem. Później zaszczepiłem się 3 dawkami, 2x Pfizer i 1 Moderna. Zero powikłań oprócz bólu w miejscu szczepienia po pierwszym razie. Od tego czasu nic mnie nie wzięło.
  8. Podobno młody policjant na stażu zastrzelił swojego bo myślał że to kryminalista.
  9. I @GordonLamemancię zaorał jak pole ziemniaków
  10. Da się zrobić żeby łączyło posty tylko do np 9 minuty a powyżej 10 minut wysyłało jako nowy post?.
  11. Niestety to IMHO jest złe, wrzuciłem coś np 2 godziny wcześniej a nikt nie odpisał to teraz żeby coś wrzucić trzeba czekać aż ktoś odpiszę
  12. To oglądałeś całe?!, ja tylko z 1,5 minuty
  13. https://zielona.interia.pl/smieci-plastik/news-system-kaucyjny-z-waznymi-zmianami-sejm-przeglosowal-noweliz,nId,20245440
  14. https://www.skyscrapercity.com/threads/stany-zjednoczone-polityka-ekonomia-i-stosunki-polsko-amerykańskie.1476941/post-190887829
  15. Ja już znam: Trzaskowski VS Nawrocki. Prawaki i pisiory na X już wrzucają wpisy z Nawrockim.
  16. https://wiadomosci.onet.pl/swiat/usa-naloza-sankcje-na-mtk-wazna-zapowiedz-z-obozu-donalda-trumpa/wy8955c
  17. W ciągu ostatnich 6 miesięcy dostałem już 2 błędne faktury. Najlepsza była za działkę którą dostałem z miesiąc temu, miesięcznie płaciłem około 45zł. A tu nagle przyszła faktura na maila a tam do dopłaty 30000zł, tak trzydzieści tysięcy! Ale po 3 dniach sami przysłali fakturę korygującą na normalna kwotę 47zł. Te ich systemy powinny to od razu wyłapywać że cos jest nie tak, gdzie na przyłączu 3kW zużyje przez 5 miesięcy energii za 30kzł
  18. Wsiadła z naje**nym przygłupem do auta a teraz gra niewinną.
  19. Dla pokazania jakie głupoty wypisuje do Muska, ale tam ją w komentarzach wyjaśnili.
×
×
  • Dodaj nową pozycję...