Kategorie-Archiv: Serveradministration Windows

pyLoad zum Downloaden auf der Synology Diskstation oder Ubuntu Server

Es ist oftmals sehr mühsam, über einen Download-Manager auf dem eigenen Windows-Desktoprechner zu downloaden. DAfür sprechen zumindest viele Gründe. zum einen ist ein Desktoprechner nicht dafür ausgelegt, dauerhaft an zu bleiben und über nacht am Laufen gehalten zu werden, um nachts irgendwelche Downloads voranzutreiben. DAs verbraucht unnötig viel Strom. auch viele Festplatten sind nicht für große Datenmengen ausgelegt, die bei Downloads aber oft anfallen. Die kleine 250 GB SSD mit Downloads vollzumüllen, ist nicht gerade Sinn der Sache, warum man sich diese eigentlich angeschafft hat. Es ist aber auch ineffizient, den Rechner zusammen mit einer externen Festplatte dauerhaft zu betreiben.

Ein weiterer Vorteil, wenn der Downloader auf einem externen Gerät läuft: sie können auf Ihrem Desktop-Rechner per Proxy  oder VPN anonym surfen, aber mit Ihrer normalen öffentlichen IP mit Full-Speed downloaden. Somit stören sie die Geschwindigkeitseinbußen bei Proxy oder VPN nicht mehr beim Download.

sinnvoller ist es, das Downloaden auf ein Gerät auszulagern, welches dauerhaft an bleiben kann und dabei nur sehr geringe Mengen Strom verbraucht. Was wäre dafür besser geeignet als ein Network Attached Storage Gehäuse mit einer großen Festplatte darin?

Die besten Produkte dieser Art sind meiner Meinung nach die Synology Diskstations. Diese haben mittlerweile die Vorreiterschaft auf dem Markt der Network Attached Storage Lösungen genommen und unterstützen mit pyLoad ein mächtiges tool zum Downloaden von Dateien über einen Downloadmanager – inklusive support zur Eingabe von Premium-Accounts.

Der clou: Sie müssen dabie nicht auf den Komfort des Suchen nach Downloads auf Ihrem Desktop-PC verzichten! Denn Sie können Browser-Addons wie beispielsweise FlashGot! für Firefox so einrichten, dass die Downloads an die pyLoad-Lösung auf Ihrem NAS-Gehäuse weitergeleitet werden.

Im Folgenden werde ich beschreiben, wie Sie pyLoad auf der Synology Diskstation oder auf einem Ubuntu Standardserver einrichten. Dabie setze ich für die Synology voraus, dass Sie bereits IPKG auf der Diskstation eingerichtet haben.

Installation auf der diskstation

Zunächst installieren wir alle benötigten Tools, die zur installation von pyload notwendig sind

ipkg update

ipkg install screen nano wget unzip unrar psmisc

ipkg install python py25-crypto py25-curl libcurl py25-openssl py25-django py25-pil tesseract-ocr tesseract-ocr-lang-eng ossp-js

Nun werden wir pyload selbst herunterladen. Das Tool ist leider nicht in das IPKG-Repository aufgenommen, sodass wir es manuell über wget herunterladen müssen. Die aktuelle version findet man unter http://get.-pyload.org/get/src – fügen Sie an die URL die aktuellste Version hinten an, beispielsweise 0.4.9, sodass Sie pyload letztendlich so installieren

cd /opt

wget http://get.pyload.org/get/src/0.4.9/

unzip pyload-src-v0.4.9.zip

rm pyload-src-v0.4.9.zip

cd pyload/

alternativ können Sie es aber auch über ipkg probieren

ipkg update

ipkg install pyload-v0.4.9-noarch.ipk

pyLoadCore -s

pyLoadCore -s ist nur notwendig, wenn Sie pyload über IPKG installieren. Dieser Befehl startet das Setup, welches Sie in der .zip-Version überspringen.

Egal, wie Sie pyLoad installiert haben, müssen wir pyLoad jetzt noch konfigurieren. Wir erstellen zuerst einen Ordner, in den wir später unsere Downloads haben wollen. In meinem Fall ist das /volume1/pyload.Dann wechseln wir in den unterordner /module/config.

Um den Ordner /volume1/pyload als Ordner für unsere Downloads festzulegen, machen wirim Ordner /opt/pyload/module/config folgendes:

mkdir /volume1/pyload

echo "volume1/pyload" >> configdir

Wir müssen in jedem Fall noch pyload ausführbar machen

chmod +x /opt/pyload/pyLoadCore.py

Nun starten wir zum ersten mla pyLoad

cd /opt/pyload

python ./pyLoadCore.py

Beim esten Afuruf erscheint ein Konfiguration-Assi, mit dessen Hiulfe wir beispielswiese ide sprache einstellen. außerdem wir ein Systemcheck durchgeführt. Wenn in diesem herauskommt, dass PyQt4 fehlt, könnt ihr das ignorieren – das wird nur für die GUI von pyLoad gebruacht, und die wollen wir ja nicht nutzen! Danach müsst ihr einen Benutzernamen und ein Login-Passowrt festlegen. Empfohlen wird, Reconnect auszuschalten. Schließlich wollt ihr ja nicht, dass euer Network Attached Storage dauernd neu verbindet! Denn dann würden alle anderen Dienste der NAS ständig außer Gefecht gesetzt. Das ist auch gleichzeitig die Stndardeinstellung.

Nach dem Setup wird pyLoad beendet. Es bringt auch nichts, pyLoad jetzt erneut aufzurufen, da diese instanz bvon pyLoad sich wieder beedndet, sobald wir das Konsolenfenster schließen. Deswegen müssen wir sicherstellen, dass wir pyLoad in Zukunft im Hintergrudn laufen lassne, so dass pyLoad unabhängig von geöffneten KOnsolenfenstern läuft. Das geht über screen. Manuell können wir pyLoad damit folgendermaßen im Hintergrund laufen lassen:

screen -dmS python /opt/pyload/pyLoadCore.py

Da wir das aber auch nicht jedesmal manuell, sondern automatisch bei jedem Systemstart machen wollen, erstellen wir ein Skript unter /etc/init.d/ mit dem Namen pyload, machen es ausführbar und verlinken das skript im Runlevel Init 2 (falls der Ordner /etc/rc2.d/ existiert) unter demd Namen S99pyload

vi /etc/init.d/pyload
#!/bin/sh

if [ -z "$STY" ]; then exec screen -d -m -S pyload /bin/bash "$0"; fi

cd /opt/pyload

python ./pyLoadCore.py
chmod +x /etc/init.d/pyload ln -s /etc/init.d/pyload /etc/rc2.d/S99pyload

wenn der Ordner rc2.d  nicht vorahnden ist, empfiehlt es sich nicht, diesen manuell anzulegen. Stattdessen sollte man das Skript in die Datei /etc/rc.local eintragen

Falls Ihr einen Premiumaccount habt, wollt ihr den natürlich in pyLoad eintragen. Das geht über die Datei account.conf, die in unserem neuen Konfigurationsordner /volume1/pyload liegt. Wir editieren also die Datei /volume1/pyload/account.conf. Das folgende Beispiel zeigt den inhalt der datei, wenn ein share-online.biz premium account hinzugefügt werden soll

ShareonlineBiz:

username:password

geht dabei sicher, dass Ihr das Passowrt ohne abschließendes Leerzeichen in die Zeile eintragt.

Installation unter Ubuntu

Prüfen, ob pytho installiert ist

which python

Als ertes müssen wir sicher gehen, dass python installiert ist

apt-get install python

#bzw.

aptitude install python

dann müssene wir noch einige weitere Pakete installieren

apt-get install python-crypto python-pycurl python-imgaing python-beaker python-qt4 tesseract-ocr tesseract-rc-eng gocr unrar gcc g++ binutils make python-gmpy unzip m4 python-pygccxml gccgo lib32gcc1 lib64ggc1 libgcc-4.7-dev python-dev libcurl-dev libcurl-ocaml libcurl-ocaml-dev lubcurl3 libcurll3-dev libcurl13-gnutls

Jeztt installieren wir pyload selber. Wir müssen folgende Pakete downloaden

w3m http://get.pyload.org/get/ubuntu

Wir downloaden das paket über den Link und installieren über

sudo dpkg -i pyload-clix-x-x-.deb

Das Paket wird in der egel extrahiert nach /usr/share/pyload

Jetzt installieren wir die MPIR bibliothek

wget http://mpir.org/mpir-2.7.0-alpha12.zip

unzip mpir-2.7.0-alphas12.zip

cd mpir-2.7.0/

sudo ./configure

sudo make

sudo make test

sudo checkinstall

sudo make install

dann laden wir uns pycrypto

w3m https://www.dlitz.net/software/pycrypto/

#download über link, auspacken über

tar -xvzf pycrypto-2.6.1

cd pycrypto-2.6.1/

./configure

sudo python ./setup.py build

und dann laden wir uns pycurl

wget http://pycurl.sourceforge.net/download/pycurl-7.19.5.1.tar.gz

tar -xvzf pyuclr.tar.gz

cd pycurl-x.x.x.x/

python setup.py build

jetzt laden wir uns tesseract

sudo apt-get install autoconf automake libtool

sudo apt-get install libpng12-dev libpng12 libpng12-0-dev libpng-dev

sudo apt-get install libjpeg62-dev libjpeg62 libjpeg-dev

sudo apt-get install libtiff4-dev libtiff-dev python-libtiff libtiff4

sudo apt-get install zlib1g-dev

sudo apt-get install libleptonica-dev

wget https://tesseract-ocr.googlecode.com/files/tesseract-3.01.tar.gz

tar -xvzf tesseract-3.01.tar.gz

cd tesseract-3.01/
./autogen.sh

#falls ihr bei autogen einen fehler mit einem fehlenden m4-verzeihcnis bekommt, einfach anlegen über

mkdir ./m4

#

./configure

make

sudo make install

sudo ldconfig

und zum Schluss pyqt4

wget http://sourceforge.net/projects/pyqt/files/PyQt4/PyQt-4.11.3/PyQt-x11-gpl-4.11.3.tar.gz

tar -xvzf PyQt-x-x-x.tar.gz

sudo aptitude install python-sip python-sip-dev sip-dev

wget http://sourceforge.net/projects/pyqt/files/sip/sip-4.16.7/sip-4.16.7.tar.gz

tar -xvzf sip-4.16.7.tar.gz

cd sip-4.16.7/

python configure py.

make

sudo make install

cd PyQT-4.11.3/

sudo aptitude install mingw32

python configure.py -q /usr/bin/qmake-qt4



# checken der Verison mit

sip -V

sudo aptitude install libqt4-dev

Jetzt richten wir openssl für eine verschlüsselte Verbindung ein

sudo aptitude install openssl

cd ~/.pyLoad

openssl genrsa 1024 > ssl.key

openssl req -new -key ssl.key -out ssl.csr

openssl req -days 36500 -x509 -key ssl.key -in ssl.csr > ssl.crt

sudo aptitude install rhino

python ./pyLoadCore.py

service pyload restart
ln -s /etc/init.d/pyload /etc/rc2.d/S99pyload

nun tragen wir unsere Premium-Accounts unter /usr/share/pyload/accounts.counf ein, beispielsweise

ShareOnlineBiz:

<UserID>:<Passwort>

UploadedNet:

<UserID>:<Passwort>

Bevor wir pyLoad dauerhaft in Betrieb nehmen können, müssen wir ein paar Einstellungen festlegen. Das machen wir über

cd /usr/share/pyload

python ./pyLoadCore.py

und wir starten pyload zum ersten mal über

/etc/init.d/pyload start

 

Abschließende Nacharbeiten

Zusätzlich solltet Ihr testen, ob wie Weboberfläche von pyload funktioniert. Der standardport ist 8000. Unter http://dyndns.tld:8000 solltet ihr die oberfläche also öffnen können. Wenn ihr die oberfläche ach von außen erreichen können wollt, müsst ihr in der konfiguration eine listen-adresse von 0.0.0.0 eingestellt haben und für den port 8000 in Ihrem Router eine Portweiterleitung an die disktation eingerichtet haben.

Nun müssen wir noch konfigurieren, dass wir überi unseren Desktop-Browser Downloads zu pyLoad hinzufügen können. im folgendne Beispiel konfigurieren wir dazu FlashGot! f+ür den Firefox. Dann müssen wir in der Weboerbläche von PyLoad das ClickAndLoad-Plugin aktivieren. Dazu gehen wir im Menü auf den Reiter Plugins / Menu und aktivieren dort das clickAndLoad Plugin.

im danachaufpoppenden Reieter ClickAndLoad aktiiverne wir nochexternal link adding.

Ab jetzt passiert Folgendes: PyLoad lauscht auf dem Port 9666 nach Anfragen für das hinzufügen von Downloads. Über diesen Port ist es also mitHilfe des clikcandLoad-Plugins möglich, Links hinzuzufügen.

Wir konfigurieren jetzt flashGot! dazu, dass er für unser pyload auf der Adressse der NAS und den Port 9666 Links hinzufügt. Dazu gehen wir im Firefox auf Tools – FlashGot – More Options. Als Download Manager wählen wir pyload und geben die Adresse unserer NAS ein.

Wenn wir nun in Zukunft auf einen Link rechtsklicken könne wir im KOntextmenü FlashGot Link wählen und ihn somit zu pyload hinzufüpgen. Wenn wir mehrere Links ausgewählt haben, können wir ide option FlashGot All wählen.

Wir können acuh Links über die Weboberfläche mit dem Hinzufügen-Button adden. Wir können dann entweder einen Link hinzufügen oder eine .dlc-Datei hochladen. Dort können wir auch ein Passwort für zu entpackende .rar-Dateien festlegen.

 Troubleshooting

Update 15.06.2015. Wenn pyLoad seit neuestem bei ihnen nicht mehr startet, löschen Sie im Home-Verzeichnis des Benutzers, unter dem pyLoad läuft, im Ordner ~/.pyload/userplugins/hooks die Datei HighWayMe.py und starten Sie pyload daraufhin neu. Danach wird die Datei neu heruntergeladen und pyLoad sollte wieder laufen.

 

 

Wenn dir dieser Post gefallen hat, teile ihn doch auf Social Media, abonniere und verfolge mich per E-Mail, RSS-Feed, Social Media oder registriere dich auf meiner Seite. Wenn du registriert bist, like den Post bitte, wenn er dir gefallen hat!

Limits beim VServer ausgereizt – guter Rat ist teuer

Wenn Sie die Limits bei Ihrem Vserver ausgereizt haben, ist guter Rat teuer. Denn in der Regel können Sie dann keine Befehle mehr über SSH auf der Shell ausführen. Das anfertigen von Backups – und sogar das Neustarten des Servers – wird hier zur Kunst.

Ihre Limits können sie mit dem Kommando

cat /proc/user_beancounters

prüfen. Ist bei einem der hier aufgezeigten Werte der maxheld- wert nahe dem zugehörigen barrier oder limit, liegt die Vermutung nahe, dass Sie Performance-Probleme gekommen. Wenn der Wert failcnt sogar einen Wert größer null hat, ist es sogar sehr wahrscheinlich.

die Probleme äußern sich dann vielschichtig. Bei Webanwendungen bekommen Sie öfters einen Error 500, und die Kommandozeile spuckt fehlermeldungen wie bash: fork: cannot allocate memory, failed to fork oder Ähnliches aus.

Der erste Schritt ist immer eine E-Mail an den Support Ihres Anbieters. Eventuell erkennt er das Problem und erhöht Ihre Limits, sodass Sie wieder Luft nach oben haben. DAs setzt allerdings ein sehr kulantes Verhalten des Providers voraus, da er Ihnen damit erlaubt, mehr Ressourcen mit IHrem Vserver zu verbrauchen, als Ihnen ursprünglich zustehen.

Wenn Sie jetzt noch schnell ein Backup ausführen wollen – oder Ihren VServer vielleicht sogar retten wollen, weil Sie sich vor einer Neuinstallation scheuen, müssen Sie zusehen, dass Sie diese Limits nicht erreichen.

Als erstes sollten Sie versuchen, über die Administrationsoberfläche Ihres Kundenlogins einen Neustart zu veranlassen, vielleicht behebt das die Probleme und Sie können wieder Befehle in der shell ausführen und somit verhindern, dass die Limits in Zukunft erreicht werden.

Meistens hilft es, in der Administrationsoberfläche des VServers den Rettungsmodus zu aktivieren. Jeder gute V-Server-Provider bieten ein solches Rettungssystem an, in welches Sie Ihren V-SErver booten können. Jetzt sollten Sie verhindern, dass beim Start des Servers bestimmte Dienste hochkommen, die viele Ressourcen fressen. Am sichersten machen Sie das, indem Sie dem Start-Skritp oder dem Binary des Dienstes ein chmod von 000 geben. Dienste, die dafür bekannt sind, Ihre Limits zu sprengen, sind der Apache Webserver oder das Parallels Plesk Panel. Letzters finden sie meist unter /etc/init.d/psa. Geben Sie dem Startskript ein chmod von 000 und veranlassen sie nun per Weboberfläche einen neustart des Servers. Eventuell haben Sie jetzt nach dem REboot die nötigen Ressourcen, um die nötigen Schritte durchzuführen.

Sobald Sie Ihren Server einmal so weit haben, dass Sie ihn wieder kontrollieren können, müssen sie in Zukunft dafür sorgen, dass Sie die Limits nicht mehr erreichen. Das können Sie beispielsweise tun, indem Sie bestimmte Dienste komplett ausschalten oder beispielsweise einigeKomponenten im Paralllels Plesk Panel deaktiverne – beispielsweise Anti-Spam-Schutz, Antivirenschutz oder Dr. Web. Das geht natürlich oft zu Lasten der Sicherheit, die sie anderweitig ausgleichen müssen.

Sollten Sie selbst mit diesen Maßnahmen Ihren Server nicht dazu kriegen, künftig die Limits nicht mehr zu sprengen, müssen Sie über ein Upgrade zu einem besseren Paket mit höheren Limits oder gleich über einen dedizierten Root-Server nachdenken – bei einem Root-Server können Sie die Limits in der Regel selbst kontrollieren und bis zur vollen Systemauslastung ausreizen. Eventuell bietet sich auch eine dedizierte Managed Server Variante an – im Fall von Webseiten also ein Webspace – im Falle von Gameservern ein Managed Gameserver, den Sie nur noch über eine Weboberfläche betreuen.

Wenn dir dieser Post gefallen hat, teile ihn doch auf Social Media, abonniere und verfolge mich per E-Mail, RSS-Feed, Social Media oder registriere dich auf meiner Seite. Wenn du registriert bist, like den Post bitte, wenn er dir gefallen hat!