Harry James
0 
1752
284
Ako imate mentalne kockice, njuh za programiranje i pripovijedanje, kao i dizajn za dizajn, možete učiniti i gore od upada u znanost o podacima. To je nova velika stvar u tehnologiji; vrlo su trendovski i visoko plaćeni, s podacima koje znanstvenici traže neke od najvećih svjetskih kompanija.
ScraperWiki je tvrtka koja je već dugo povezana s poljem podataka o znanosti. Posljednjih nekoliko godina ovaj startap sa sjedištem u Liverpoolu ponudio je platformu koderima da pišu alate koji dobivaju podatke, čiste i analiziraju u oblaku.
S nedavnim osvježenjem i sve većom potražnjom za znanstvenicima koji se bave podacima u poduzeću, vrijedno je dobro pogledati ScraperWiki.
Potpuno otkrivanje: Bio sam pripravnik u ScraperWikiju prošlog ljeta.
Što radi ScraperWiki?
ScraperWiki plasira sebe kao mjesto za dobivanje, čišćenje i analizu podataka, i pruža svaki od tih podataka. U svom najjednostavnijem obliku omogućuje vam - korisniku - mjesto na koje možete zapisati kôd koji uzima podatke iz izvora, alate za konverziju u oblik koji je lako analizirati, i pohranjivati ih za kasniju vizualizaciju - što vi može se nositi i sa ScraperWikijem.
Također dolazi s brojnim unaprijed izgrađenim alatima za automatiziranje ponavljajućih zadataka, uključujući dobivanje podataka iz PDF-a, koje je notorno teško dešifrirati. Ovo je pored pretraživanja Twittera 5 zgodnih trikova za pretraživanje kako bi se nadziralo što ljudi govore o vama 5 zgodnih trikova za pretraživanje kako biste pratili što ljudi govore o vama Ako posjedujete web mjesto ili samo pokušavate zaraditi novac na mreži kao freelancer, uvijek je dobro znati što ljudi govore o tebi putem Interneta. Ljudi mogu citirati ... i strugati komunalne usluge. Za njihovo korištenje ne treba vam nikakvo iskustvo u razvoju softvera.
cijena
Kao što je ranije spomenuto, ScraperWiki prihvaća model besplatnih cijena i nudi uslugu koja ima više slojeva. Oni koji tek započinju s podacima o podacima ili s ograničenim potrebama mogu iskoristiti besplatnu uslugu. Ovo vam daje tri skupa podataka - gdje pohranjujete svoje podatke i kôd.
Oni koji planiraju napisati više strugača ili žele napraviti plan podataka, mogu izdvojiti nešto novca za premium račun. Oni počinju od 9 USD mjesečno i nude 10 skupova podataka. Ako to još uvijek nije dovoljno, uvijek možete nadograditi na njihov najviši nivo koji dolazi sa 100 skupova podataka i košta 29 dolara mjesečno.
šifriranje
Programeri su često prilično posebni kada je riječ o načinu kodiranja. Neki više vole jezike pisanja skriptiranih jezika. Neki više vole iskustvo spajanja datoteka s uređivačem teksta u odnosu na integrirano razvojno okruženje (IDE). ScraperWiki to prepoznaje i daje korisniku ogroman izbor kada je u pitanju način pisanja vašeg koda.
Ako ste toliko skloni, svoj kôd možete upisati u preglednik. Kao što biste očekivali od bilo kojeg profesionalnog, web-mjesta, Top 3 preglednika zasnovanog na pretraživaču, koji treba kodirati u oblaku. Top 3 preglednika IDE-a utemeljenih na pretraživaču za kodiranje u alatu za razvoj oblaka, ovo sadrži značajke koje bi svaki programer smatrao biti od ključne važnosti, poput isticanja sintakse.
U ponudi je više jezika. Tu se uključuje Python 5 najboljih web stranica za učenje programiranja Pythona 5 najboljih web stranica za učenje programiranja Pythona Želite naučiti programiranje Pythona? Evo najboljih načina za učenje Pythona na mreži, od kojih su mnogi potpuno besplatni. , popularni skriptni jezik koji koriste Google i NASA; Ruby 3 Interaktivan, zabavan i slobodan način za početak učenja jezika programskog jezika Ruby 3 Interaktivan, zabavan i slobodan način za učenje učenja Ruby Programski jezik Ruby Ruby je ekspresivan, skriptni jezik na visokoj razini. Na webu se koristi uglavnom kao dio okvira za razvoj web stranica Ruby on Rails, ali i samostalno. Ako vas zanima što Ruby (a ne ... koji pokreće brojne popularne web stranice kao što je Living Social; i popularni jezik statističke analize, R.
Pored toga, kôd možete pisati i iz naredbenog retka pomoću SSH, Gita i bilo kojeg tekstnog uređivača koji volite koristiti. Da, dobro ste pročitali. SSH Što je SSH i kako se razlikuje od FTP [Objasnio je tehnologiju] Što je SSH i kako se razlikuje od FTP [Objašnjena tehnologija]. Svaki okvir koji koristite ima svoj vlastiti Linux račun i na njega se možete povezati kao što bi bio VPS ili bilo koji drugi račun školjke. Na raspolaganju je nekoliko uređivača teksta, uključujući Vim Top 7 razloga da se Vim uređivaču teksta omogući prilika Top 7 razloga za pružanje šanse Vim Editoru teksta Godinama pokušavam jedan uređivač teksta. Samo ime, pokušao sam. Svaki sam od tih uređivača koristio sam više od dva mjeseca kao svoj glavni svakodnevni urednik. Nekako, ja ... što se može proširiti dodacima i uređivanjem konfiguracije. Oni koji ih zastraši Vim mogu koristiti Nano, koji je lagan uređivač teksta naredbenog retka.
Instalirane knjižnice trebaju biti dovoljne za pisanje alata za preuzimanje podataka i njihovu obradu. Ako vam treba nešto malo opskurnije, uvijek možete stvoriti virtualenv iz naredbenog retka. Kao što vidite, programerima se pruža ogromna fleksibilnost.
Vizualizacija podataka
Dakle, imaš svoje podatke. Normalizirali ste ga. Očistili ste ga Analizirali ste to. Sada je vrijeme da napravite neku vizualizaciju i pokažete svijetu ono što ste naučili.
ScraperWiki omogućava programerima da prikazuju svoje podatke koristeći web stranice izrađene od svima poznatih trifecta HTML, CSS i JavaScript. Osim toga, bootstrap komponente se podržavaju izvan okvira.
Dostupne su brojne unaprijed napravljene vizualizacije, uključujući one koje grafički prikazuju vaše podatke i pronalaze trendove u vašim nalazima. Da biste ih koristili, morate osigurati da su vaši podaci pohranjeni kao SQLite datoteka s nazivom datoteke "scraperwiki.sqlite". Tada jednostavno dodate vizualizaciju koja vas zanima. Jednostavno, točno?
Zaključak
ScraperWiki nudi mnogo programerima koji žele napraviti neku analizu podataka, a da im razvojno okruženje ne bude na putu, a pritom imaju fleksibilnost da udovolje i najzahtjevnijim korisnicima. Ali što mislite? Javite mi u komentarima u nastavku.
Fotograf: raketna znanost (Dan Brown)