Hallo,
ich wollte fragen ob es moeglich ist auf eine Webseite zuzugreifen ohne einen Browser zu benutzen.
Ich möchte Javascript auf der Webseite ausfuehren und benutze derzeit eine Browser dafuer.
Gibt es eine bessere Methode um dann Javascript auszuführen, ohne die seite direkt im Browser zu laden?
mfg
google verweist erst mal hier hin:
Die Frage ist: Was willst Du damit erreichen?
Das meiste JS-Geraffel ist sdoch dafür da, die Seite entsperchen der Benutzereingaben zu ändern. Ohne das anzuzeigen ist Benutzerinteraktion aber schwierig…
bye
TT
Meine persönlicher Favorit ist Selenium.
Selenium bietet eine schöne Abstraktion um verschiedene (!) Browser fernzusteuern.
Für das entwickeln nutze ich dann z.B. Firefox und bekomme dann gleich Feedback, was mein Programm da gerade versucht im Browser auszuführen.
Ist die Entwicklung abgeschlossen, dann schalte ich um auf PhantomJS und lasse das Programm headless laufen. PhJS ist gefühlt ein wenig resourcenschonender als ein Firefox.
curl, wget, jede HTTP-API tuts
„Auf der Webseite“ - soll das heißen, lokal auf deinem Rechner? node.js (mit Einschränkungen) oder eben die genannten JS-Testframeworks
Eigentlich nicht - ohne den Browser funktioniert das js möglicherweise nicht wie gewünscht. Und wozu sollte das gut sein?
Sehr viel JS-Code arbeitet ja event-basiert, ohne Browser ist da vielleicht nicht so viel zu holen…
Wie schon erwähnt wurde : das meiste JS-Geraffel ist eigentlich nur für die Darstellung. Einiges fällt noch auf z.B. AJAX an (dieses pseudo-dynamic-Zeugs) und vielleicht noch ein paar versteckte Hintertüren um Bot-Using zu erschweren. Am Ende läuft es aber eigentlich immer nur auf folgendes : irgendwelche Daten werden per HTTP zum Server geschickt und die Antwort irgendwie dargestellt. Und wenn erstmal dieser Ablauf “geknackt” ist brauchst weder einen Browser, noch JS, noch irgendwas sonst aktives, sondern lediglich irgendeine beliebige HTTP-API (wie die genannten wget, curl, oder um bei Java zu bleiben : URL und URLConnection) mit der man die gewünschten Requests reproduziert und den Response auswertet. Das ist alles kein Hexenwerk und dieser “ich will meinen Browser fernsteuern”-Bullshit (sorry, aber anders kann ichs nicht mehr bezeichnen, die Frage kommt immer wieder weil die meisten Script-Kiddies nicht mal wissen wie das Web eigentlich funktioniert) hat sich damit automatisch erledigt.
Und erst DANN wird es doch wirklich interessant : Algorithmen um Captchas zu knacken, manipulierte Requests um sich Vorteile zu verschaffen oder um an Sperren herum zu kommen, stark beschleunigter Ablauf da das Rendern wegfällt, Traffic-Reduktion weil man nur den reinen HTML-code läd und nicht die ganzen Bilde rund Werbung drum-rum, etc …
Aus Erfahrung : überlege dir einfach welche Aktionen du durchführen willst, nimm Wireshark und guck dir an was da zwischen deinem Browser und dem Server abläuft, und baue diese Requests mit den gewünschten Daten nach um die gewünschten Infos zu erhalten. Erspart viel Stress, geht schnell (wenn man erstmal die Sicherung gegen genau sowas geknackt hat) und man braucht sich nicht mehr großen Frameworks oder gar dem Fernsteuern eines Browsers rumschlagen.
So kann man dann mit ein paar Tricks sich z.B. recht einfach einen YT-Downloader in weniger als 200 Zeilen selbst schreiben, der, wenn mit Login erweitert und Proxy erweitert, sogar Inhalte laden kann die z.B. in Deutschland gesperrt sind oder für die man sein Alter durch Login bestätigen muss. Und das alles ohne sich darum kümmern zu müssen wie man dem Browser sagt was er machen soll oder wie man dann dessen Daten abgreift.