Feature: Consider porting FISH(FIle transfer over SHell filesystem) from Midnight Commander

[vasya-r7]

Midnight Commander has FISH.
And FISH is brilliant IMHO and superfast! It would be so nice to get FISH with far2l.

FISH supports jump hosts which NetRocks is lacking nowadays.
FISH can be used instead SFTP most of the times.
FISH is faster comparing to SFTP. Dirs listing is faster and download/upload speeds are much better.
For example with my 30 MBit Internet transferring files with FISH via Midnight Commander saturates Internet link. SFTP via far2l download speeds are several times less than FISH(2-6x). I have Little Snitch firewall app which displays link speed in menubar. I`ve never saw SFTP via far2l saturating internet link.

Take a look at screenshots for the same file(0017.MOV) transferred via SFTP(far2l) and FISH(mc). It took MC 1 minute 23 seconds compared to Far2l (SFTP) with 2 minutes 48 seconds to transfer the same file. I repeated the test several times. Result is consistent during repetitions.

As for my system I`m using MacOs on MacBook Air M1 with Ventura 13.4. Far2l(2.5.2-beta) and MC(4.8.30 from macports) are latest as of the time of writing.

Thank you for far2l, it`s great!

[unxed]

https://en.wikipedia.org/wiki/Files_transferred_over_shell_protocol
?

SCP in NetRocks is very close afaik. If you could point us to the differences, it would be indeed helpful.

[vasya-r7]

SCP is fast you are right. Thanks for pointing that out.

FISH & SCP are rather similar to each other.
However FISH has 2 significant implementation differences.

1. FISH stores commands used in separate scripts files instead hardcoding them in c/cpp code.
   You can see that commands here if you like.
   https://github.com/MidnightCommander/mc/tree/master/src/vfs/fish/helpers

2. FISH uses OpenSSH client stdin/stdout without trying to implement SSH proto in any way or connect to SSH on it`s own.

P.S.: I badly miss JumpHosts support with NetRocks.

[unxed]

As for 2, I am now trying to write NetRocks alternative as wrapper around command line sftp tool just as multiarc wraps around zip or tar. Is it something similar to what FISH in mc does?

https://github.com/unxed/netpanel

PS: Just PoC as for now, but still I was able to make ununtu-ubuntu connection and download a file.

[elfmz]

2unxed consider adding protocol to NetRocks instead of full plugin implementation. See https://github.com/elfmz/far2l/blob/master/NetRocks/HACKING.txt

[vasya-r7]

https://github.com/unxed/netpanel

It seems to me that porting readily available and working code from Midnight would be simpler task than writing wrapper around sftp from scratch. FISH is rather primitive. And FISH commands stored in separated files can be just reused. Also FISH can be extended in almost any way you can imagine cause it just executes commands on remote server. With SFTP wrapper you are limited to standard SFTP client functionality and it`s limitations.

P.S.: Execute Midnight and try FISH. It works so good.

[unxed]

@elfmz извините, что на русском, но я немного устал и плохо соображаю. Думал в эту сторону, но есть проблемка: насколько я успел понять апи брокеров протоколов, там надо уметь возможность читать-писать по произвольному смещению. Консольная sftp не даёт такое. Теоретически такое можно было бы эмулировать, используя возможность докачки, и создавая пустой файл нужного размера, но это как-то совсем уж причудливо: писать такое, не обсудив сперва с коллегами, я не рискнул :) и ещё я сразу предупреждаю, что задолбаю вопросами про ipc и многопоточность, потому что в нетроксе уровень сей явно выше моего, и мне конечно, дико интересно разобраться во всем этом, но тупить на старте буду конкретно :)

Below is google translation
@elfmz sorry for the Russian, but I'm a little tired and I'm bad at thinking. I thought in this direction, but there is a problem: as far as I managed to understand the api of protocol brokers, there you need to be able to read and write at an arbitrary offset. Console sftp does not give this. Theoretically, this could be emulated using the resume option and creating an empty file of the required size, but it’s somehow quite bizarre: I didn’t risk writing this without discussing it with my colleagues first :) and I also immediately warn that I’ll fill up with questions about ipc and multithreading, because in netrocks C/C++ level is clearly higher than mine, and of course, it’s wildly interesting for me to understand all this, but I’ll be stupid at the start :)

[unxed]

Used fish already. Good thing. Definitely porting from mc to netrocks API could be best solution if possible.

[elfmz]

насколько я успел понять апи брокеров протоколов, там надо уметь возможность читать-писать по произвольному смещению.

Небязательно. scp тоже не умеет по произвольному и делает так:

	if (resume_pos) {
		throw ProtocolUnsupportedError("SCP doesn't support download resume");
	}

• соответственно просто докачка не будет работать для этого протокола

[unxed]

И вот тут интересное. Докачка то как раз у консольного sftp есть. Вот нельзя ли как-то развинуть границы апи чтоб ее можно было использовать в том виде в котором она есть там?

[unxed]

Does FISH support download/upload resume in mc? @vasya-r7

[vasya-r7]

Does FISH support download/upload resume in mc? @vasya-r7

FISH supports download/upload resume in mc.
P.S.: At least I`ve tested download resume.

[elfmz]

Докачка то как раз у консольного sftp есть. Вот нельзя ли как-то развинуть границы апи чтоб ее можно было использовать в том виде в котором она есть там?

Непонятно что раздвигать. Докачка у консолького sftp есть - так она и у нетроксовского sftp тоже есть. А у консолького scp докачки нету. А что есть у fish - это отдельный вопрос. В любом случае апи позволяет как протоколы с докачкой так и без.

[unxed]

Раздвигать в том смысле чтоб докачка поддерживалась не только при доступности чтения/записи по любому смещению, но и по доступности опции "вот лежит недокачанный файл, докачивай с места, соответствующего его объему, и пиши в него же", как это в sftp сделано. Иначе придется эмулировать первый вариант поверх второго и это какаято дичь

[elfmz]

Но.. ведь так и сделано же: https://github.com/elfmz/far2l/blob/master/NetRocks/src/Protocol/Protocol.h#L91
или я чегото не понимаю..

[unxed]

API VFS mc выглядит так. @elfmz как думаете, этого достаточно для NetRocks? Т.е. можно сделать просто прокладку из одного API в другой?

void
vfs_init_fish (void)
{
    tcp_init ();

    vfs_init_subclass (&fish_subclass, "fish", VFSF_REMOTE | VFSF_USETMP, "sh");
    vfs_fish_ops->fill_names = fish_fill_names;
    vfs_fish_ops->stat = fish_stat;
    vfs_fish_ops->lstat = fish_lstat;
    vfs_fish_ops->fstat = fish_fstat;
    vfs_fish_ops->chmod = fish_chmod;
    vfs_fish_ops->chown = fish_chown;
    vfs_fish_ops->utime = fish_utime;
    vfs_fish_ops->open = fish_open;
    vfs_fish_ops->symlink = fish_symlink;
    vfs_fish_ops->link = fish_link;
    vfs_fish_ops->unlink = fish_unlink;
    vfs_fish_ops->rename = fish_rename;
    vfs_fish_ops->mkdir = fish_mkdir;
    vfs_fish_ops->rmdir = fish_rmdir;
    vfs_fish_ops->ctl = fish_ctl;
    fish_subclass.archive_same = fish_archive_same;
    fish_subclass.new_archive = fish_new_archive;
    fish_subclass.open_archive = fish_open_archive;
    fish_subclass.free_archive = fish_free_archive;
    fish_subclass.fh_new = fish_fh_new;
    fish_subclass.fh_open = fish_fh_open;
    fish_subclass.dir_load = fish_dir_load;
    fish_subclass.file_store = fish_file_store;
    fish_subclass.linear_start = fish_linear_start;
    fish_subclass.linear_read = fish_linear_read;
    fish_subclass.linear_close = fish_linear_close;
    vfs_register_class (vfs_fish_ops);
}

Там, похоже, даже чтение по произвольному смещению есть:

static int
fish_linear_start (struct vfs_class *me, vfs_file_handler_t * fh, off_t offset)