Um mit meinem NAS Kontakte, Termine und Fotos zu synchronisieren, habe ich Nextcloud getestet und damit anderen Cloudanbietern für meine privaten Daten ein Stück weit den Rücken gekehrt. Dank Docker ist die Installation einfacher und flexibler denn je und ermöglicht es, Nextcloud auf einer beinahe beliebigen Hardware zu betreiben.

Damit der Aufruf auf meine Webservices über sichere HTTPS-Verbindungen stattfindet, setze ich in Docker einen Let's Encrypt Reverse-Proxy ein. Zuerst habe ich Nginx als Reverse-Proxy verwendet, diesen aber später mit Traefik ersetzt. Der Proxy kümmert sich um die Zertifikatsverwaltung und stellt die Verbindung auf die dahinterliegenden Webservices sicher. So können über eine IP-Adresse und einem Port (gemeinsamer Server) mehrere verschiedene Domänen und dessen Webservices betrieben werden.

Schritt für Schritt

Für den Reverse-Proxy wird folgendes Setup vorausgesetzt:

1. Hardware auswählen: PC, Notebook oder besser: virtueller Server, Raspberry PI oder eine NAS: QNAP, Synology oder Eigenbau-NAS
2. virtueller Server eines Providers, oder OS installieren: Windows, Linux
3. Docker installieren, siehe: Docker
4. DNS-Eintrag im Internet auf die öffentliche IP-Adresse erstellen und
   nginx-Reverse Proxy Setup: Let's Encrypt Reverse Proxy in der Praxis

Als Basis für Nextcloud habe ich ursprünglich folgendes GitHub-Projekt eingesetzt und später adaptiert: https://github.com/ichiTechs/Dockerized-SSL-NextCloud-with-MariaDB. Das Projekt besteht im Wesentlichen aus zwei Dateien, welche ich in angepasster Version hier beschreibe. Der Hauptgrund für die Anpassung war die Trennung des Reverse-Proxys vom Nextcloud-Setup, wodurch mehrere Webdienste mit einem jeweiligen SSL Zertifikat betrieben werden können. Die Nextcloud-Installation läuft in meinem Fall auf einer Hardware, bei mir zu Hause.

Container für Nextcloud:

1. docker-compose.yml und nginx.conf anlegen
2. Container starten

docker-compose.yml

Die Datei docker-compose.yml beinhaltet die Konfiguration für die Container, wie z. B. den Datenbank-Benutzer, die Domäne und Netzwerkeinstellungen für die Kommunikation der einzelnen Container untereinander. Die Datei sollte entsprechend vor dem ersten Start angepasst werden (Bereich labels=). Wie bereits erwähnt, wird für das hier beschriebene Setup neben Docker und dem Traefik-Reverse-Proxy ein DNS-Eintrag auf die IP der Nextcloud-Installation vorausgesetzt. 

Inhalt der Datei: docker-compose.yml

version: '2'
services:
  web:
    image: nginx
    container_name: nextcloud_webserver
    volumes:
      - ./nginx.conf:/etc/nginx/nginx.conf:ro
    links:
      - app
    volumes_from:
      - app
    labels:
      - "traefik.enable=true"
      - "traefik.http.routers.next.rule=Host(`next.domain.tld`)"      
      - "traefik.http.routers.next.entrypoints=web"
      - "traefik.http.routers.next.entrypoints=websecure"
      - "traefik.http.routers.next.tls.certresolver=myresolver"  
    networks:
      - nextcloud
    restart: always
  app:
    image: nextcloud:fpm
    container_name: nextcloud_fpm
    links:
      - db
      - redis
    volumes:
      - ./apps:/var/www/html/apps
      - ./config:/var/www/html/config
      - ./data:/var/www/html/data
    networks:
      - nextcloud
    restart: always
  redis:
    image: redis
    container_name: nextcloud_redis
    restart: always
    ports:
      - "6379:6379"
    volumes:
      - ./redis:/data
    entrypoint: redis-server --appendonly yes
    networks:
      - nextcloud
    restart: always
  db:
    image: mariadb:10.5
    container_name: nextcloud_db
    volumes:
      - ./db:/var/lib/mysql
    environment:
      - MYSQL_ROOT_PASSWORD=xxx
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=nextcloud
      - MYSQL_PASSWORD=xxx
    networks:
      - nextcloud
    restart: always
networks:
  nextcloud:
    external:
      name: webproxy

nginx.conf

Inhalt der Datei nginx.conf

# config file for nginx webserver to work with NextCloud app.

user www-data;

events {
  worker_connections 2048;
}

http {
  upstream backend {
      server app:9000;
  }
  include /etc/nginx/mime.types;
  default_type application/octet-stream;

  server {
    listen 80;

    # Add headers to serve security related headers
    add_header Strict-Transport-Security "max-age=15768000; includeSubDomains; preload;";
    add_header X-Content-Type-Options nosniff;
    add_header X-XSS-Protection "1; mode=block";
    add_header X-Robots-Tag none;
    add_header X-Download-Options noopen;
    add_header X-Permitted-Cross-Domain-Policies none;

    root /var/www/html;
    client_max_body_size 0; # 0=unlimited - set max upload size
    fastcgi_buffers 64 4K;

    gzip off;

    index index.php;
    error_page 403 /core/templates/403.php;
    error_page 404 /core/templates/404.php;

    rewrite ^/.well-known/carddav /remote.php/dav/ permanent;
    rewrite ^/.well-known/caldav /remote.php/dav/ permanent;

    location = /robots.txt {
      allow all;
      log_not_found off;
      access_log off;
    }

    location ~ ^/(build|tests|config|lib|3rdparty|templates|data)/ {
      deny all;
    }

    location ~ ^/(?:\.|autotest|occ|issue|indie|db_|console) {
      deny all;
    }

    location / {
      rewrite ^/remote/(.*) /remote.php last;
      rewrite ^(/core/doc/[^\/]+/)$ $1/index.html;
      try_files $uri $uri/ =404;
    }

    location ~ \.php(?:$|/) {
      fastcgi_split_path_info ^(.+\.php)(/.+)$;
      include fastcgi_params;
      fastcgi_param SCRIPT_FILENAME $document_root$fastcgi_script_name;
      fastcgi_param PATH_INFO $fastcgi_path_info;
      fastcgi_param HTTPS on;
      fastcgi_param modHeadersAvailable true; #Avoid sending the security headers twice
      fastcgi_pass backend;
      fastcgi_intercept_errors on;
    }

    # Adding the cache control header for js and css files
    # Make sure it is BELOW the location ~ \.php(?:$|/) { block
    location ~* \.(?:css|js)$ {
      add_header Cache-Control "public, max-age=7200";
      # Add headers to serve security related headers
      add_header Strict-Transport-Security "max-age=15768000; includeSubDomains; preload;";
      add_header X-Content-Type-Options nosniff;
      add_header X-Frame-Options "SAMEORIGIN";
      add_header X-XSS-Protection "1; mode=block";
      add_header X-Robots-Tag none;
      add_header X-Download-Options noopen;
      add_header X-Permitted-Cross-Domain-Policies none;
      # Optional: Don't log access to assets
      access_log off;
    }

    # Optional: Don't log access to other assets
    location ~* \.(?:jpg|jpeg|gif|bmp|ico|png|swf)$ {
      access_log off;
    }
  }
}

Erstellen der Konfiguration und Start der Container

Folgender Befehl erstellt die Container mit der in der docker-compose.yml hinterlegten Konfiguration.

docker-compose up -d

Container hinzufügen / docker-compose.yml anpassen

Collabora hinzufügen

Collabora ist eine Online-Version von LibreOffice und ermöglicht es, Office-Dokumente online über den Webbrowser zu erstellen oder gemeinsam zu bearbeiten. Voraussetzung für die Nutzung aus dem Internet ist ein zusätzlicher DNS-Name, also ein A-Record auf die öffentliche IP des Servers und ein zusätzliches Let`s Encrypt-Zertifikat. Das Zertifikat wird wiederum über die Environment-Variablen definiert kann und automatisch vom Traefik-Reverse-Proxy ausgestellt und verlängert werden.

Um Callabora in Nextcloud zu verwenden, kann folgenden Block in docker-compose.yml angepasst und eingefügt werden:

collabora:
 image: collabora/code
 container_name: nextcloud_collabora
 expose:
 - 9980
 cap_add:
 - MKNOD
 environment:
 - domain=next.deineDomain
 - VIRTUAL_HOST=office.deineDomain
 - VIRTUAL_NETWORK=nginx-proxy
 - VIRTUAL_PORT=9980
 - VIRTUAL_PROTO=https
 - LETSENCRYPT_HOST=office.deineDomain
 - LETSENCRYPT_EMAIL=deineEmail-Addresse
 networks:
 - nextcloud
 restart: always

OnlyOffice hinzufügen

Zudem können mit Only-Office Word, Excel oder PowerPoint-Dokumente online bearbeitet werden. Auch hier wird für den Zugriff aus dem Internet ein zusätzlicher DNS-Name vorausgesetzt: Traefik-Reverse-Proxy. Only-Office ist im Vergleich zu Collabora etwas schlanker, da wesentlich mehr Programmlogik im Browser stattfindet. Verglichen mit Collabora hatte ich bisher mit OnlyOffice auch keine Verbindungsabbrüche beim Bearbeiten von Dokumenten und somit Collabora mittlerweile mit OnlyOffice ersetzt.

 onlyoffice:
 image: onlyoffice/documentserver
 container_name: nextcloud_onlyoffice
 stdin_open: true
 tty: true
 volumes:
  - ./onlyoffice/data:/var/lib/onlyoffice/documentserver/App_Data 
 expose:
 - '80'
 - '443'
 environment:
 - VIRTUAL_HOST=document.domain.xx
 - VIRTUAL_NETWORK=nginx-proxy
 - LETSENCRYPT_HOST=document.domain.xx
 - LETSENCRYPT_EMAIL=email@domain.xx
 - JWT_ENABLED=true
 - JWT_SECRET=secretwithoutnumbers
 - JWT_HEADER=Authorization
 networks:
 - nextcloud
 restart: always

Angepasstes docker-compose.yml mit OnlyOffice

version: '2'

services:
  web:
    image: nginx
    container_name: nextcloud_webserver
    volumes:
      - ./nginx.conf:/etc/nginx/nginx.conf:ro
    links:
      - app
    volumes_from:
      - app
    environment:
      - VIRTUAL_HOST=next.domain.tld
      - VIRTUAL_NETWORK=nginx-proxy
      - VIRTUAL_PORT=80
      - LETSENCRYPT_HOST=next.domain.tld
      - LETSENCRYPT_EMAIL=admin@.domain.tld
    networks:
      - nextcloud
    restart: always
  app:
    image: nextcloud:fpm
    container_name: nextcloud_fpm
    links:
      - db
      - redis
      - onlyoffice
    volumes:
      - ./apps:/var/www/html/apps
      - ./config:/var/www/html/config
      - ./data:/var/www/html/data
    networks:
      - nextcloud
    restart: always
  redis:
    image: redis
    container_name: nextcloud_redis
    restart: always
    ports:
      - "6379:6379"
    volumes:
      - ./redis:/data
    entrypoint: redis-server --appendonly yes
    networks:
      - nextcloud
    restart: always
  onlyoffice:
     image: onlyoffice/documentserver
     container_name: nextcloud_onlyoffice
     stdin_open: true
     tty: true 
     volumes:
        - ./onlyoffice/data:/var/lib/onlyoffice/documentserver/App_Data 
     expose:
        - '80'
        - '443'
     environment:
        - VIRTUAL_HOST=document.domain.tld
        - VIRTUAL_NETWORK=nginx-proxy
        - LETSENCRYPT_HOST=document.domain.tld
        - LETSENCRYPT_EMAIL=adin@domain.tld
        - JWT_ENABLED=true
        - JWT_SECRET=xxx
        - JWT_HEADER=Authorization
     networks:
        - nextcloud
     restart: always 
  db:
    image: mariadb:10.5
    container_name: nextcloud_db
    volumes:
      - ./db:/var/lib/mysql
    environment:
      - MYSQL_ROOT_PASSWORD=xxx
      - MYSQL_DATABASE=nextcloud
      - MYSQL_USER=nextcloud
      - MYSQL_PASSWORD=xxx
    networks:
      - nextcloud
    restart: always
networks:
  nextcloud:
    external:
      name: webproxy

OnlyOffice leere Dokumente

ACHTUNG: Wenn die Adresse für die internen Anforderungen nicht aufgelöst werden kann, werden die Dokumente in NextCloud nicht upgedated, sie befinden sich dann noch im Container, in dem Ordner: /var/lib/onlyoffice/documentserver/App_Data. Aus diesem Grund sollte der Ordner unbedingt auf einen lokalen Ordner gemappt werden, um einen Datenverlust zu vermeiden. Verantwortlich für das Updaten der Only-Office-Dokumente in NextCloud ist der Cron-Job, daher ist es auch nicht unwesentlich, dass dieser regelmäßig läuft.

Außerdem musste ich in der Nextcloud-Konfiguration ab einer bestimmten Version folgende Zeilen hinzufügen:

File: /config/config.php

$CONFIG = array (
...
  'onlyoffice' =>
  array (
    'verify_peer_off' => false,
  ),
...

Wartung

Container updaten

Für das Update des Containers habe ich mir eine kleine .sh-Datei geschrieben:

docker-compose pull
docker-compose up -d
sleep 20

docker exec --user www-data nextcloud_fpm php occ upgrade
sleep 20
docker exec --user www-data nextcloud_fpm php occ db:add-missing-indices
docker exec --user www-data nextcloud_fpm php occ app:disable twofactor_totp calendar news contacts onlyoffice previewgenerator tasks mail drawio
docker exec --user www-data nextcloud_fpm php occ app:enable twofactor_totp calendar news contacts onlyoffice  previewgenerator tasks mail drawio
docker exec --user www-data nextcloud_fpm php occ maintenance:mode --off
~

Nachdem immer wieder mal Apps gefehlt haben, habe ich diese in dem Skript zuerst deaktiviert und im Anschluss wieder aktiviert.

Ohne dem Befehl "occ upgrade" würde das Upgrade beim nächsten Aufruf der Weboberfläche über den Browser initiiert werden:

Files scannen

Sollte Dateien direkt und nicht über die Weboberfläche von Nextcloud hinzugefügt werden, können dies diese mittels Filescan erkannt und hinzugefügt werden:

docker exec --user www-data nextcloud_fpm php occ files:scan --all

Geburtstagskalender neu aufbauen

docker exec --user www-data nextcloud_fpm php occ dav:sync-birthday-calendar User

Backup: Datenbank Dump

docker exec db mysqldump --user=root --password=Password -h localhost nextcloud > dump.sql.gz

Tuning – Einstellungen – Optimierungen

Cronjob

am Host-OS

sudo crontab -e

*/5 * * * * docker exec --user www-data nextcloud_fpm php -f /var/www/html/cron.php  > /dev/null 2>&1

Sicherheits- und Einrichtungswarnungen

docker exec --user www-data nextcloud_fpm php occ maintenance:mode --on
docker exec --user www-data nextcloud_fpm php occ db:convert-filecache-bigint
docker exec --user www-data nextcloud_fpm php occ maintenance:mode --off
docker exec --user www-data nextcloud_fpm php occ db:add-missing-indices

Brute Force Protection und Reverse Proxy:

in Protokollierung:

/config/config.php:

hinzufügen von:

'trusted_proxies' => array('172.18.0.2'),
 'forwarded_for_headers' => array('HTTP_X_FORWARDED_FOR')

Connections:

root@soxn:/nextcloud# nano nginx.conf

events {
worker_connections 768;
}

changed to 2048; 

NGINX Bad Gateway – OnlyOffice

Anfangs habe ich folgenden Workaround für den Start von OnlyOffice benötigt, mittlerweile ist dieser hinfällig …

Bash-Script:

#!/bin/bash 

url="https://document.DOMAIN"
keyword="Bad Gateway"

if curl -s "$url" | grep "$keyword"
then
    # if the keyword is in the conent
    echo " ERROR"
	docker restart onlyoffice
else
    echo "the website is working fine"
fi

sudo crontab -e

*/10 * * * * . /nextcloud/check.sh > /dev/null 2>&1

Preview Images

Damit die Anzeige in der Bildergalerie schneller funktioniert, können die Vorschaubilder mittels des Plugins "Preview Generator" vorab erzeugt werden. 

Nach der Installation der App können die Vorschaubilder über folgenden Befehl erzeugt werden:

docker exec --user www-data nextcloud_fpm php occ preview:generate-all -vvv

Damit neue Vorschaubilder regelmäßig erzeugt werden, habe ich am Host-System einen Cronjob hinzugefügt:

sudo crontab -e

15 3 * * * docker exec --user www-data nextcloud_fpm php occ preview:pre-generate > /dev/null 2>&1

siehe auch: Linux CronJobs - geplante Tasks | Debian crontab [erklärt]

Client_max_body_size

File uploadsize.conf

client_max_body_size 10G;

docker-compose.yml 

services:
 proxy:
 image: jwilder/nginx-proxy
 container_name: proxy
 ports:
 - 80:80
 - 443:443
 volumes:
 - ./proxy/conf.d:/etc/nginx/conf.d
 - ./proxy/vhost.d:/etc/nginx/vhost.d
 - ./proxy/html:/usr/share/nginx/html
 - ./proxy/certs:/etc/nginx/certs:ro
 - /var/run/docker.sock:/tmp/docker.sock:ro
 - ./uploadsize.conf:/etc/nginx/conf.d/uploadsize.conf:ro

Redis / Cache

config/apcu.config.php

<?php
$CONFIG = array (
 'memcache.local' => '\OC\Memcache\APCu',
 'opcache.revalidate_freq' => 60,
 'redis' => array(
 'host' => 'nextcloud_redis',
 'port' => 6379,
 ),
 'filelocking.enabled' => true,
 'memcache.locking' => '\OC\Memcache\Redis',
); 

siehe auch: https://docs.nextcloud.com/server/latest/admin_manual/installation/server_tuning.html

Docker .env

Wird in dem Ordner in dem sich die docker-compose.yml Datei befindet eine .env-Datei angelegt, können damit Docker-Parameter geändert werden:

#.env
COMPOSE_HTTP_TIMEOUT=200

Troubleshooting

Internal Server Error

Nach einem Stromausfall hatte ich folgendes Problem:

Internal Server Error

The server encountered an internal error and was unable to complete your request.
Please contact the server administrator if this error reappears multiple times, please include the technical details below in your report.
More details can be found in the server log.

Der Redis-Container hat dabei ständig neu gestartet. Im Log konnte ich folgenden Eintrag finden:

Bad file format reading the append only file: make a backup of your AOF file, then use ./redis-check-aof --fix <filename>

Nachdem ich den Redis-Ordner ./nextcloud/redis gelöscht habe, konnte die Installation wieder gestartet werden.

WARNING: [pool www] server reached pm.max_children setting (5), consider raising it 

Mit den Standardeinstellungen wurde im Log des nextcloud:fpm Containers folgende Warnung angezeigt:

WARNING: [pool www] server reached pm.max_children setting (5), consider raising it 

Das Limit kann in der FPM-Config-Datei www.conf erhöht werden, diese ist im nextcloud:fpm Container versteckt:

Um die Datei anzuzeigen, können wir uns in den Container verbinden:

docker exec --user www-data -it nextcloud_fpm bash

Damit die Änderungen an der Config-Datei auch nach einem Reboot vorhanden sind, kann die Datei außerhalb des Containers abgelegt werden, dazu muss die Datei aber vorhanden sein:

mit cat /usr/local/etc/php-fpm.d/www.conf den Inhalt der www.conf anzeigen lassen und im Root Ordner www.conf anlegen:

Folgende Zeile in nextcloup_fpm hinzufügen:

- ./www.conf:/usr/local/etc/php-fpm.d/www.conf #added 4 max-childs-config

mit nano.conf kann die www.conf angepasst werden:

Nachdem ich in meinem NAS 8 GB Ram habe, habe ich folgende Werte angepasst:

pm.max_children = 80 #(vorher 5)
pm.start_servers = 2
pm.min_spare_servers = 2 #(voher 1)
pm.max_spare_servers = 15 #(vorher 3)

Die komplette Datei schaut bei mir wie folgt aus:

www.conf

[www]
user = www-data
group = www-data
listen = 127.0.0.1:9000
pm = dynamic
pm.max_children = 80
pm.start_servers = 2
pm.min_spare_servers = 2
pm.max_spare_servers = 15

Exception: Database error when running migration latest for app core

An exception occurred while executing a query: SQLSTATE[HY000]: General error: 4047 InnoDB refuses to write tables with ROW_FORMAT=COMPRESSED or KEY_BLOCK_SIZE.

Das Problem liegt an der MariaDB-Version. Ab Version 10.6 werden keine komprimierten Spalten mehr unterstützt. 

Ich habe das Problem fürs Erste gelöst, indem ich die Version 10.5 von MariaDB verwende:

docker-compose.yml

...
  db:
    image: mariadb:10.5
    container_name: nextcloud_db
...

siehe: help.nextcloud.com/t/update-to-22-failed-with-database-error-updated/120682

Docker als Benutzer / ohne Root-Rechte

sudo groupadd docker
sudo gpasswd -a $USER docker

Router OpenWrt – interne IP

Nachdem mein NAS und somit die Nextcloud-Installation zu Hause direkt über das WLAN erreichbar ist, ohne Umweg: WLAN-Router – Internet – Router, ist es natürlich sinnvoll die Installation direkt aufzurufen, dazu reicht ein zusätzlicher DNS-Eintrag am Router: Split-DNS. Die Nextcloud-Domain wird im WLAN somit mit einer internen IP aufgelöst.

Hier als Beispiel die Anpassung meines auf OpenWrt-basierenden Router:

vi /etc/config/dhcp

config 'domain'
option name 'next.domain.xx'
option ip 192.168.1.5

config 'domain'
option name 'office.domain.xx'
option ip 192.168.1.5

config 'domain'
option name 'document.domain.xx'
option ip 192.168.1.5

Windows Webdav

\\next.domain.xx@SSL\DavWWWRoot\remote.php\dav\files\user

OrdnerSync Rasperry PI

Installieren:

sudo apt install owncloud-client-cmd

und eintragen in crontab:

crontab -e

* * * * * owncloudcmd /lokalerOrdner https://user:password@nextcloudURL/remote.php/webdav/Ordner >/dev/null 2>&1

Fazit

Nextcloud wertet meinen NAS um unzählige Funktionen auf und bietet mir die Möglichkeit Cloud-Dienste wieder nach Hause zu bringen:
Mit Nextcloud habe ich jetzt Sync-Clients für Android, Windows und Linux, kann im Browser Office-Dokumente, Diagramme oder Abstimmungen erstellen. Neben den Fotos vom Smartphone kann ich zudem meine Kontakte und Kalendereinträge synchronisieren oder mit anderen teilen und könnte sogar einen eigenen Messenger inkl. Anruf- und Video-Funktion betreiben und vieles mehr …