Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Stringa repo, raso kad vietos mazai #54

Closed
kestas05 opened this issue Dec 7, 2015 · 9 comments
Closed

Stringa repo, raso kad vietos mazai #54

kestas05 opened this issue Dec 7, 2015 · 9 comments
Assignees

Comments

@kestas05
Copy link
Collaborator

kestas05 commented Dec 7, 2015

No description provided.

@tkrilavicius
Copy link
Collaborator

ar čia nebus priloginta kalnai visko, ko nereikia?
ar ten jau hdd užkišti?

@kestas05
Copy link
Collaborator Author

kestas05 commented Dec 7, 2015

MArtynas ziuri jau

@marsav
Copy link
Owner

marsav commented Dec 7, 2015

panašu kad taip ir yra

#df
rootfs 118794524 112768472
0 100% /

root@repo:~# du -h / | grep '[0-9.]+G'
77G /var/log/postgresql
77G /var/log
77G /var
...

taigi postgress logai čia, jame prirašyta "connect: Bad file descriptor"
eilučių begalės, reiktų troubleshootint toliau kas ten yra, bet laikinai
galima juos tiesiog pratrinti

#rm /var/log/postgresql/*

nors paskui matosi kad ir duomenų sekcijos užima po kelis Gb, šiuo metu
visi jie sumoje užima 83 Gb

...
83G /mnt/data/duomenys
..

On 7 December 2015 at 21:25, tkrilavicius notifications@github.com wrote:

ar čia nebus priloginta kalnai visko, ko nereikia?
ar ten jau hdd užkišti?


Reply to this email directly or view it on GitHub
#54 (comment)
.

@marsav
Copy link
Owner

marsav commented Dec 7, 2015

pasirodo kažkoks užsilikęs procesas laikė ištrintus postgreso log failus.
sutvarkyta, dabar disko užimtumas tik 18%

2015-12-07 21:43 GMT+02:00 Martynas Savickis martynas@ore.lt:

panašu kad taip ir yra

#df
rootfs 118794524
112768472 0 100% /

root@repo:~# du -h / | grep '[0-9.]+G'
77G /var/log/postgresql
77G /var/log
77G /var
...

taigi postgress logai čia, jame prirašyta "connect: Bad file descriptor"
eilučių begalės, reiktų troubleshootint toliau kas ten yra, bet laikinai
galima juos tiesiog pratrinti

#rm /var/log/postgresql/*

nors paskui matosi kad ir duomenų sekcijos užima po kelis Gb, šiuo metu
visi jie sumoje užima 83 Gb

...
83G /mnt/data/duomenys
..

On 7 December 2015 at 21:25, tkrilavicius notifications@github.com
wrote:

ar čia nebus priloginta kalnai visko, ko nereikia?
ar ten jau hdd užkišti?


Reply to this email directly or view it on GitHub
#54 (comment)
.

@marsav
Copy link
Owner

marsav commented Dec 7, 2015

fixed

@marsav marsav closed this as completed Dec 7, 2015
@kestas05 kestas05 reopened this Dec 9, 2015
@kestas05
Copy link
Collaborator Author

kestas05 commented Dec 9, 2015

Vel tas pats su vieta.
As postgress loga istryniau, man idomu koki tu procesa nukilinai kad vietos atsirado
Plius, pabandziau postgresql perkraut, nu sustabde, bet nepaleidzia is naujo.
Kazkas ne taip jei vel per diena dingo visas space'as

@kestas05 kestas05 assigned kestas05 and marsav and unassigned marsav and kestas05 Dec 9, 2015
@marsav
Copy link
Owner

marsav commented Dec 9, 2015

Ok, patroubleshootinau, panašu kad čia trojanas kuris per postgress portą įlindo, žr. čia:
http://unix.stackexchange.com/a/248010

Taip ir buvo, kaip tame aprašyta - /tmp radau trojan kodą, o postgres funkcijose - exec111 funkciją (žr. žemiau). Pašalinau ir tuos ir tuos, bet galimybė kad trojaną vėl įstums jei nebus sustiprintas serverio saugumas, lieka. Pažiūrėsiu postgres konfigūraciją, ką ten galima padaryt. Kol kas turi veikt viskas, du down to 18%.

`
postgres-# \df+ exec111
List of functions
Schema | Name | Result data type | Argument data types | Type | Volatility | Owner | Language | Source code | Description
--------+---------+------------------+---------------------+--------+------------+----------+----------+-------------+-------------
public | exec111 | text | | normal | volatile | postgres | c | exec111 |
(1 row)

postgres=# drop function exec111();
DROP FUNCTION
`

Sustiprinau Postgres konfigūraciją, kad pasiektų tik dspace useris, pagal šitą instrukciją:
http://comments.gmane.org/gmane.comp.db.dspace.user/25218

Tikėkimės, kad to pakaks. Jei problema kartosis, ieškosim kaip dar sustiprint.

Restartavau Postgres ir Tomcat, dabar veikia.

@marsav
Copy link
Owner

marsav commented Dec 9, 2015

@kestas05 pažiūrėti kokie procesai laiko ištrintus failus, galima su šia komanda:

lsof | grep "/var" | grep deleted

Man ten matėsi postgres userio executintos komandos "testproxy" procesas su daug threadų, kurie laikė tą ištrintą logą. Tada nukilinau pagrindinį procesą, ir logas buvo atlaisvintas (kartu ir serverio vieta).

@marsav
Copy link
Owner

marsav commented Dec 9, 2015

fixed

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Projects
None yet
Development

No branches or pull requests

3 participants