Если посмотреть внимательно на приложенный график расхода памяти, то там
видно, что после каждого теста кеш очищается. В течение нового теста
память вновь заполняется.
Ну так это кеш ОС, работает всегда.
Разве directio (O_DIRECT) не создан специально для того, чтобы самим
управлять кешированием, а не отдавать все подряд ОС?