Return Styles: Pseud0ch, Terminal, Valhalla, NES, Geocities, Blue Moon. Entire thread

My world4ch scraper

Name: Anonymous 2010-04-16 17:27

As I've posted several times in the past[1][2][3], I have written a world4chscraper in Python. I've rewritten it recently, cleaning up the code a lot and I believe that its quality is now sufficiently good to withstand /Prague/'s scrutiny.

Source code here: # http://www.mediafire.com/?nmy04n5ytgz #

Features:
* fairly VROOM VROOM (I just tested it today, archived 11415 threads and 425890 posts in 980.53 seconds; in your face, http://dis.4chan.org/read/prog/1205354504/58)
* has a nice progress bar
* parses properly all Shiitchan fuckups known to me as of now (even the most recent http://dis.4chan.org/read/prog/1220718054)

Enjoy.

____________________
References:
1: http://dis.4chan.org/read/prog/1252024842
2: http://dis.4chan.org/read/prog/1255410333/22,24
3: http://dis.4chan.org/read/prog/1205354504/40,43,45

Name: Anonymous 2010-04-17 19:52

>>11
                            _,.---""----.,_
                         .-' __.----...---.;
                       .'  .'               `'.
                      /  .'                    '.
                     /  /                  `'",  `\
                   .'_,' ,"`                       `'.
                  /,'                       .-.       \
                .'        .-.              /___\  (  . `,
               /  .-'    /___\             |_  |   \  '. \
              ;| /       |_  |             \_)_/   |    \ \
              /| |   ;  _\_)_/             `   ,  /     |  \
             / | |  /  ___   `  .-~`````~-. ,='   |     |  |
            ;  \ \ /.-'   `-._              |    /|     |  \
           .'``''--' _.-      `\            |  .'  \    |  |;
          /         ' _,        \           |-`|   |    |  ||
         /  /        /_\       /_\ .-~``~-. |  |   |   /   ||
        |  |         \(/       |(|          |  /   |   |   ||
       ,|  |        -~~`       ;`|   .---.  |  |   |   /   ||
    .-/ |  |    /        .-~`~  \|  (     '.|  /   ;--/    /|
   / /  |  \   |   -t-           | -~'-\    \  `--'  `-..-` ;
  |/|   /   \  |`._  \      -~` /       |    \             /
  /\|   | .--'  `\ `._`._      /        |-~` |            /
  \/\   '.____,.-'    `""`-._.'    ~-. /     /       .' .'
     \             .--._.-'`         .'`- _.'       (.-'
      |           (       ,    ',_.-'`"""`          |
      \   \     .-'  '-;---;..--'  /,----.y         |
 jgs  |    '.   `.__,-'    /       |      |         |
      |     |`-.,__,    Y  |       |      |         |
      |  == | =|   |    |  |- ~ -. |      | .- ~ -. |
      |     |  |   | == | =|~ - ~` |      | '~ - ~' |
     /.-.-.-\-.-\  |    |  |       |      |         |
     `""""""`""""`/.-.-.-\-.\-.-.-.-\    /.-.-.-.-.-.\
                  `"""""""`""`-------'   '------------'
Newer Posts
Don't change these.
Name: Email:
Entire Thread Thread List
All trademarks and copyrights on this site are owned by their respective parties. All comments and posts are the responsibility of their own posters.
- Tinychan + 2ch Mode -