Buongiorno a tutti.

Dopo anni di utilizzo di CentOS su diversi server stavolta mi sono imbattuto in un problema che mi sta facendo sbattere la testa contro il muro.

Ho installato la versione "minimal" di CentOS 8 su due server *identici*, e uno dei due si comporta in modo strano. Entrambi hanno due ethernet con IP statici, una con ip privato collegata allo switch interno e una con ip pubblico collegata allo switch esterno.

Tutti i giorni, pressappoco alla stessa ora, l'ethernet del server #2 va down e non risponde ai check che faccio dall'esterno. Da notare che il #1, che gli sta in parte ed è collegato agli stessi switch, continua invece a rispondere tranquillamente. Come se non bastasse, poi, dopo un'oretta circa la scheda del #2 torna online da sola... :-?

Ci sono alcune cosette da dire che possono tornare utili:

• Entrambe le macchine montano CentOS 8.3.2011 (aggiornato)
• Il driver di tutte le schede di rete è r8169 firmware rtl8168e-3_0.0.4
• Il server che resta online (#1) è anche il gateway della rete (con masquerade ON), quindi fa più traffico del #2
• Il server che va down (#2) sembra che si riattivi nel momento in cui inizia a fare il backup (uso TSM verso un server esterno)
• Se accedo da remoto via SSH il #2 non ovviamente non risponde, ma se lo faccio sempre via SSH ma su IP privato (passando dal #1) allora funziona e sia riattiva tutto
• Ho provato a disabilitare la WakeOn (con ethtool ho "Supports Wake-on: pumbg" e "Wake-on: d" su tutte e 4 le schede) ma non cambia nulla

La mia impressione è che tutto questo abbia a che fare con il traffico di rete. Il #1 "chiacchera" regolarmente con l'esterno tramite la enp2s0, mentre il #2 (non essendo il gw) non lo fa, anche se c'è da dire che *entrambi* eseguono ogni 5 minuti il ping verso l'esterno (li lancio io da snmp).

Ormai 'sta cosa va avanti da più di due settimane, e sto seriamente pensando di essermi rimbambito... :-)
Qualcuno ha qualche brillante idea su cosa potrebbe essere?

Saluti...

Letta così sembrerebbe che la scheda viene disattivata perchè non c'è traffico in uscita

Proprio l'impressione che ho io...

il ping verso l'esterno del server incriminato sei sicuro che passi dall'ethernet che poi va giù?

Penso di si... pingo un ip pubblico esterno, ed il gw della macchina è il router, quindi sono "abbastanza" sicuro :-)

Puoi provare a mettere un ping che si attiva prima del solito orario che la eth si spegne?

I ping, attualmente, sono lanciati tramite una "extend" di snmp che chiama uno script che fa il ping, e lo fa H24 ogni 5 minuti, ma si pianta lo stesso, l'ha fatto anche ieri... ma non oggi. Infatti, per fare una prova ieri sera ho messo un cron con un semplice wget https://www.google.com/ ogni 20 minuti e l'ethernet è risalita dopo pochi minuti che era scesa, probabilmente a causa della wget. Quindi secondo me è proprio una questione di traffico assente, ma non trovo dove disabilitare 'sta cosa.

Sto esaurendo le idee... che dici, devo chiamare un prete? :-)

Magari è legato al risparmio energetico et similia.
Prova a vedere se è abilitato EEE

Si, ci avevo pensato anch'io, ma:

ethtool --show-eee enp1s0
EEE Settings for enp1s0:
       EEE status: disabled
       Tx LPI: disabled
       Supported EEE link modes:  100baseT/Full 1000baseT/Full
       Advertised EEE link modes:  Not reported
       Link partner advertised EEE link modes:  Not reported

ethtool --show-eee enp2s0
EEE Settings for enp2s0:
       EEE status: disabled
       Tx LPI: disabled
       Supported EEE link modes:  100baseT/Full 1000baseT/Full
       Advertised EEE link modes:  Not reported
       Link partner advertised EEE link modes:  100baseT/Full 1000baseT/Full

L'unica differenza è quel "Link partner advertised" che, ad essere sincero, non so cosa sia.

La enp1s0 (ip privati) è connessa ad un Brocade ICX 6430 mentre la enp2s0 (ip pubblici) ad un d-link gigabit stupido.
Per capire meglio quel che succede qui allego un grafico del traffico di rete.

Da notare che entrambe le ethernet vanno in sleep nello stesso momento e tornano online insieme, mentre invece il server continua tranquillo, tant'è vero che il cron funziona. Inoltre, sembra che il ping non le risvegli, mentre il wget si.

C'è qualcosa nei log in prossimità dell'orario?
Driver della scheda aggiornato?

No, nei log nulla che possa essere correlato con questa cosa.

Nel cron di test che lancio ogni 20 minuti, però, ho l'output di qualche tool nel momento in cui l'ethernet è down.
Te li appendo qui sotto, magari c'è qualcosa che mi è sfuggito.:

[->POST LUNGO!<-]

================================================================================
= [START] ETHTOOL
================================================================================
Settings for enp1s0:
       Supported ports: [ TP MII ]
       Supported link modes:   10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Supported pause frame use: Symmetric Receive-only
       Supports auto-negotiation: Yes
       Supported FEC modes: Not reported
       Advertised link modes:  10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Advertised pause frame use: Symmetric Receive-only
       Advertised auto-negotiation: Yes
       Advertised FEC modes: Not reported
       Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                            100baseT/Half 100baseT/Full
                                            1000baseT/Full
       Link partner advertised pause frame use: Symmetric Receive-only
       Link partner advertised auto-negotiation: Yes
       Link partner advertised FEC modes: Not reported
       Speed: 1000Mb/s
       Duplex: Full
       Port: MII
       PHYAD: 0
       Transceiver: internal
       Auto-negotiation: on
       Supports Wake-on: pumbg
       Wake-on: d
       Current message level: 0x00000033 (51)
                            drv probe ifdown ifup
       Link detected: yes    <-- Questa sembra ON
--------------------------------------------------------------------------------
- [-END-] ETHTOOL enp1s0
--------------------------------------------------------------------------------

Settings for enp2s0:
       Supported ports: [ TP MII ]
       Supported link modes:   10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Supported pause frame use: Symmetric Receive-only
       Supports auto-negotiation: Yes
       Supported FEC modes: Not reported
       Advertised link modes:  10baseT/Half 10baseT/Full
                               100baseT/Half 100baseT/Full
                               1000baseT/Half 1000baseT/Full
       Advertised pause frame use: Symmetric Receive-only
       Advertised auto-negotiation: Yes
       Advertised FEC modes: Not reported
       Link partner advertised link modes:  10baseT/Half 10baseT/Full
                                            100baseT/Half 100baseT/Full
                                            1000baseT/Full
       Link partner advertised pause frame use: Symmetric
       Link partner advertised auto-negotiation: Yes
       Link partner advertised FEC modes: Not reported
       Speed: 1000Mb/s
       Duplex: Full
       Port: MII
       PHYAD: 0
       Transceiver: internal
       Auto-negotiation: on
       Supports Wake-on: pumbg
       Wake-on: d
       Current message level: 0x00000033 (51)
                            drv probe ifdown ifup
       Link detected: yes     <-- Anche questa sembra ON
--------------------------------------------------------------------------------
- [-END-] ETHTOOL enp2s0
--------------------------------------------------------------------------------

================================================================================
= [START] IP ADDR
================================================================================
2: enp1s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel state UP group default qlen 1000
    link/ether 40:62:31:11:c0:a4 brd ff:ff:ff:ff:ff:ff
    inet 192.168.1.3/24 brd 192.168.1.255 scope global noprefixroute enp1s0
       valid_lft forever preferred_lft forever
    inet6 fe80::4262:31ff:fe11:c0a4/64 scope link
       valid_lft forever preferred_lft forever
--------------------------------------------------------------------------------
- [-END-] IP ADDR enp1s0
--------------------------------------------------------------------------------

3: enp2s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc htb state UP group default qlen 1000
    link/ether 40:62:31:11:c0:a5 brd ff:ff:ff:ff:ff:ff
    inet xxx.xxx.117.155/29 brd xxx.xxx.117.159 scope global noprefixroute enp2s0
       valid_lft forever preferred_lft forever
    inet6 fe80::4262:31ff:fe11:c0a5/64 scope link
       valid_lft forever preferred_lft forever
--------------------------------------------------------------------------------
- [-END-] IP ADDR enp2s0
--------------------------------------------------------------------------------

================================================================================
= [START] ROUTE
================================================================================
Kernel IP routing table
Destination     Gateway         Genmask         Flags Metric Ref    Use Iface
0.0.0.0         xxx.xxx.117.153 0.0.0.0         UG    101    0        0 enp2s0
xxx.xxx.117.152 0.0.0.0         255.255.255.248 U     101    0        0 enp2s0
192.168.1.0     0.0.0.0         255.255.255.0   U     100    0        0 enp1s0
--------------------------------------------------------------------------------
- [-END-] ROUTE
--------------------------------------------------------------------------------

================================================================================
= [START] PING
================================================================================
PING 192.168.1.254 (192.168.1.254) from 192.168.1.3 enp1s0: 56(84) bytes of data.
64 bytes from 192.168.1.254: icmp_seq=1 ttl=64 time=0.153 ms
64 bytes from 192.168.1.254: icmp_seq=2 ttl=64 time=0.162 ms
64 bytes from 192.168.1.254: icmp_seq=3 ttl=64 time=0.160 ms

--- 192.168.1.254 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 27ms
rtt min/avg/max/mdev = 0.153/0.158/0.162/0.011 ms
--------------------------------------------------------------------------------
- [-END-] PING enp1s0
--------------------------------------------------------------------------------

PING 8.8.8.8 (8.8.8. from xxx.xxx.117.155 enp2s0: 56(84) bytes of data.

--- 8.8.8.8 ping statistics ---
3 packets transmitted, 0 received, 100% packet loss, time 43ms   <-- QUI enp2s0 è DOWN

--------------------------------------------------------------------------------
- [-END-] PING enp2s0
--------------------------------------------------------------------------------

================================================================================
= [START] TRACEROUTE
================================================================================
traceroute to 192.168.1.254 (192.168.1.254), 5 hops max, 60 byte packets
 1  192.168.1.254  0.142 ms  0.087 ms  0.052 ms
--------------------------------------------------------------------------------
- [-END-] TRACEROUTE enp1s0
--------------------------------------------------------------------------------

traceroute to 8.8.8.8 (8.8.8., 15 hops max, 60 byte packets    <-- ma QUI è tornata online
 1  xxx.xxx.117.153  0.444 ms  0.390 ms  0.493 ms
 2  xxx.xxx.192.132  19.687 ms  19.650 ms  19.605 ms
 3  185.25.74.93  23.122 ms  23.280 ms  23.240 ms
 4  185.25.74.66  23.880 ms  23.929 ms  23.966 ms
 5  185.25.74.134  24.074 ms  24.035 ms  23.991 ms
 6  82.113.198.90  22.930 ms  22.872 ms  22.863 ms
 7  74.125.245.225  23.360 ms 108.170.245.65  21.209 ms 74.125.245.241  21.352 ms
 8  172.253.69.255  20.843 ms 216.239.50.221  21.165 ms 216.239.49.181  20.991 ms
 9  8.8.8.8  20.939 ms  20.792 ms  20.689 ms
--------------------------------------------------------------------------------
- [-END-] TRACEROUTE enp2s0
--------------------------------------------------------------------------------

================================================================================
= [START] WGET
================================================================================
Spider mode enabled. Check if remote file exists.
--2020-12-29 16:40:17--  https://www.google.com/
Resolving www.google.com (www.google.com)... 172.217.168.4
Connecting to www.google.com (www.google.com)|172.217.168.4|:443... connected.
HTTP request sent, awaiting response... 200 OK
Length: unspecified [text/html]
Remote file exists and could contain further links,
but recursion is disabled -- not retrieving.

--------------------------------------------------------------------------------
- [-END-] WGET
--------------------------------------------------------------------------------

================================================================================
= [START] JOURNAL
================================================================================
-- Logs begin at Mon 2020-12-21 16:22:56 CET, end at Tue 2020-12-29 16:40:01 CET. --
Dec 29 15:40:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84074]: Connection closed by xxx.xxx.152.106 port 49950 [preauth]
Dec 29 15:45:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84095]: Connection closed by xxx.xxx.152.106 port 50058 [preauth]
Dec 29 15:50:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84117]: Connection closed by xxx.xxx.152.106 port 50163 [preauth]
Dec 29 15:55:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84139]: Connection closed by xxx.xxx.152.106 port 50272 [preauth]
Dec 29 16:00:01 xxxxxxx-xxx.xxxxxxxxxxx.it CROND[84161]: (root) CMD (cd /root/bin/EthDownDump; ./SetON.sh; ./DumpData.sh; ./SetOFF.sh)
Dec 29 16:00:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84186]: Connection closed by xxx.xxx.152.106 port 50382 [preauth]
Dec 29 16:01:01 xxxxxxx-xxx.xxxxxxxxxxx.it CROND[84208]: (root) CMD (run-parts /etc/cron.hourly)
Dec 29 16:01:01 xxxxxxx-xxx.xxxxxxxxxxx.it run-parts[84211]: (/etc/cron.hourly) starting 0anacron
Dec 29 16:01:01 xxxxxxx-xxx.xxxxxxxxxxx.it run-parts[84217]: (/etc/cron.hourly) finished 0anacron
Dec 29 16:05:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84219]: Connection closed by xxx.xxx.152.106 port 50491 [preauth]
Dec 29 16:07:46 xxxxxxx-xxx.xxxxxxxxxxx.it systemd[1]: Starting dnf makecache...
Dec 29 16:07:47 xxxxxxx-xxx.xxxxxxxxxxx.it dnf[84239]: Metadata cache refreshed recently.
Dec 29 16:07:47 xxxxxxx-xxx.xxxxxxxxxxx.it systemd[1]: dnf-makecache.service: Succeeded.
Dec 29 16:07:47 xxxxxxx-xxx.xxxxxxxxxxx.it systemd[1]: Started dnf makecache.
Dec 29 16:10:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84245]: Connection closed by xxx.xxx.152.106 port 50599 [preauth]
Dec 29 16:15:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84266]: Connection closed by xxx.xxx.152.106 port 50708 [preauth]
Dec 29 16:20:01 xxxxxxx-xxx.xxxxxxxxxxx.it CROND[84288]: (root) CMD (cd /root/bin/EthDownDump; ./SetON.sh; ./DumpData.sh; ./SetOFF.sh)
Dec 29 16:20:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84313]: Connection closed by xxx.xxx.152.106 port 50817 [preauth]
Dec 29 16:25:12 xxxxxxx-xxx.xxxxxxxxxxx.it sshd[84337]: Connection closed by xxx.xxx.152.106 port 50922 [preauth]
Dec 29 16:40:01 xxxxxxx-xxx.xxxxxxxxxxx.it CROND[84361]: (root) CMD (cd /root/bin/EthDownDump; ./SetON.sh; ./DumpData.sh; ./SetOFF.sh)
       Nessuna riga dopo le 16:25, riparte solo dopo il lancio di questo script alle 16:40
--------------------------------------------------------------------------------
- [-END-] JOURNAL
--------------------------------------------------------------------------------

================================================================================
= [START] LOGS
================================================================================
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Elapsed processing time:               00:00:09
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Scheduled event 'EVERY03H' completed successfully.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Sending results for scheduled event 'EVERY03H'.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Results sent to server for scheduled event 'EVERY03H'.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: ANS1483I Schedule log pruning started.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: ANS1484I Schedule log pruning finished successfully.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: IBM Spectrum Protect Backup-Archive Client Version 8, Release 1, Level 11.0
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Querying server for next scheduled event.
Dec 29 15:02:32 xxxxxxx-xxx dsmc[1026]: Node Name: XXX_XXXXXXX-APP
Dec 29 15:06:46 xxxxxxx-xxx systemd[1]: Starting dnf makecache...
Dec 29 15:06:48 xxxxxxx-xxx dnf[83882]: CentOS Linux 8 - AppStream                      5.6 kB/s | 4.3 kB     00:00
Dec 29 15:06:48 xxxxxxx-xxx dnf[83882]: CentOS Linux 8 - BaseOS                          27 kB/s | 3.9 kB     00:00
Dec 29 15:06:49 xxxxxxx-xxx dnf[83882]: CentOS Linux 8 - Extras                         2.7 kB/s | 1.5 kB     00:00
Dec 29 15:06:50 xxxxxxx-xxx dnf[83882]: Metadata cache created.
Dec 29 15:06:50 xxxxxxx-xxx systemd[1]: dnf-makecache.service: Succeeded.
Dec 29 15:06:50 xxxxxxx-xxx systemd[1]: Started dnf makecache.
Dec 29 16:07:46 xxxxxxx-xxx systemd[1]: Starting dnf makecache...
Dec 29 16:07:47 xxxxxxx-xxx dnf[84239]: Metadata cache refreshed recently.
Dec 29 16:07:47 xxxxxxx-xxx systemd[1]: dnf-makecache.service: Succeeded.
Dec 29 16:07:47 xxxxxxx-xxx systemd[1]: Started dnf makecache.
--------------------------------------------------------------------------------
- [-END-] MESSAGES
--------------------------------------------------------------------------------

Dec 29 14:50:13 xxxxxxx-app sshd[83747]: Connection closed by xxx.xxx.152.106 port 48870 [preauth]
Dec 29 14:55:13 xxxxxxx-app sshd[83768]: Connection closed by xxx.xxx.152.106 port 48980 [preauth]
Dec 29 15:00:13 xxxxxxx-app sshd[83815]: Connection closed by xxx.xxx.152.106 port 49086 [preauth]
Dec 29 15:05:13 xxxxxxx-app sshd[83861]: Connection closed by xxx.xxx.152.106 port 49195 [preauth]
Dec 29 15:10:13 xxxxxxx-app sshd[83891]: Connection closed by xxx.xxx.152.106 port 49304 [preauth]
Dec 29 15:15:13 xxxxxxx-app sshd[83913]: Connection closed by xxx.xxx.152.106 port 49413 [preauth]
Dec 29 15:20:14 xxxxxxx-app sshd[83961]: Connection closed by xxx.xxx.152.106 port 49518 [preauth]
Dec 29 15:25:14 xxxxxxx-app sshd[83984]: Connection closed by xxx.xxx.152.106 port 49628 [preauth]
Dec 29 15:30:13 xxxxxxx-app sshd[84006]: Connection closed by xxx.xxx.152.106 port 49733 [preauth]
Dec 29 15:35:12 xxxxxxx-app sshd[84027]: Connection closed by xxx.xxx.152.106 port 49840 [preauth]
Dec 29 15:40:12 xxxxxxx-app sshd[84074]: Connection closed by xxx.xxx.152.106 port 49950 [preauth]
Dec 29 15:45:12 xxxxxxx-app sshd[84095]: Connection closed by xxx.xxx.152.106 port 50058 [preauth]
Dec 29 15:50:12 xxxxxxx-app sshd[84117]: Connection closed by xxx.xxx.152.106 port 50163 [preauth]
Dec 29 15:55:12 xxxxxxx-app sshd[84139]: Connection closed by xxx.xxx.152.106 port 50272 [preauth]
Dec 29 16:00:12 xxxxxxx-app sshd[84186]: Connection closed by xxx.xxx.152.106 port 50382 [preauth]
Dec 29 16:05:12 xxxxxxx-app sshd[84219]: Connection closed by xxx.xxx.152.106 port 50491 [preauth]
Dec 29 16:10:12 xxxxxxx-app sshd[84245]: Connection closed by xxx.xxx.152.106 port 50599 [preauth]
Dec 29 16:15:12 xxxxxxx-app sshd[84266]: Connection closed by xxx.xxx.152.106 port 50708 [preauth]
Dec 29 16:20:12 xxxxxxx-app sshd[84313]: Connection closed by xxx.xxx.152.106 port 50817 [preauth]
Dec 29 16:25:12 xxxxxxx-app sshd[84337]: Connection closed by xxx.xxx.152.106 port 50922 [preauth]
             QUI il check dall'esterno via SSH non riesce più a arrivare dopo le 16:25
--------------------------------------------------------------------------------
- [-END-] SECURE
--------------------------------------------------------------------------------

Le due schede di rete usano lo stesso driver?

Si...

ethtool --driver enp1s0
driver: r8169
version:
firmware-version: rtl8168e-3_0.0.4 03/27/12
expansion-rom-version:
bus-info: 0000:01:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

ethtool --driver enp2s0
driver: r8169
version:
firmware-version: rtl8168e-3_0.0.4 03/27/12
expansion-rom-version:
bus-info: 0000:02:00.0
supports-statistics: yes
supports-test: no
supports-eeprom-access: no
supports-register-dump: yes
supports-priv-flags: no

Niente da fare, non ne vuole sapere, è addirittura imbarazzante...
Ogni singolo giorno, alle 16:30, l'ethernet va giù.

Probabilmente è ancora qualche impostazione nel BIOS che attiva il risparmio di energia per qualche motivo, ma fino a che non avrò accesso fisico al server non posso controllare.

Per ora l'ho risolta in modo "brutale": ping all'IP del router ogni 3 minuti, e se "$?" != "0" faccio una wget verso google.com, e l'interfaccia automagicamente si riattiva.

Sarà anche poco elegante, ma almeno funziona...

Da un certo punto di vista meglio questo che un problema del OS!
A me non veniva in mente null'altro.