修改快照和容错的设计,使其更河里

This commit is contained in:
2024-04-28 14:59:42 +00:00
parent bf4a4af83d
commit 81d96aadaf

View File

@ -1,9 +1,9 @@
# 规划的Bonus实现方式
- 缓存LRU
- 空间回收
- 快照:贯通于数据库系统和火车票系统整体,而是直接针对整个数据文件夹打快照类似于git在火车票系统后端处于非活动状态时操作比对工作文件夹和版本库中的最后一次commit然后打一个新的commit进去额外消耗空间为压缩后的 当前文件实际大小+变化量使用zstd算法压缩。交互方式`./core-cli snapshot [options]`
- 并发:内置于数据库系统,基于`std::shared_mutex`的简单并发。(但火车票系统会直接在整个业务层面上读写锁,因此不会直接使用数据库系统的并发安全)。
- 容错:不内置于数据库系统,由火车票系统针对实际业务逻辑记录日志。在文件系统层级上修复完损伤后,运行`./core-cli fsck`检查是否有可能有损坏,借助快照系统修复可能的损伤。
- 快照:贯通于数据库系统和火车票系统整体,以文件为单位夹打快照类似于git在火车票系统后端处于非活动状态时操作比对stage区和版本库中的最后一次commit然后打一个新的commit进去额外消耗空间为 当前文件实际大小 + 压缩后的 当前文件实际大小+变化量使用zstd算法压缩。交互方式`./core-cli snapshot [options]`。而stage功能内置于DiskManager当收到信号后会把工作文件夹的变化打进stage区。
- 并发:内置于数据库系统,基于`std::shared_mutex`的简单并发,可以真正意义上支持读操作的并发,但写操作会独占数据库的控制权。(但火车票系统会直接在整个业务层面上读写锁,因此不会直接使用数据库系统的并发安全)。
- 容错:不内置于数据库系统,由火车票系统针对实际业务逻辑记录日志。在文件系统层级上修复完损伤后,运行`./core-cli fsck`检查是否有可能有损坏,借助快照系统和日志修复可能的损伤。具体而言每条指令视为一个事务每隔1e3~1e4个事务之后Flush数据库调用快照系统把数据库文件塞进stage区域直接由DiskManager异步完成不会阻塞数据库运行并在事务日志里记录“截至当前已存档”。当需要修复时先借助快照系统恢复到最近的快照或从stage区恢复然后把未反映进该checkpoint的数量较少的事务再重新操作一下考虑到后端的执行速率重新执行1e3到1e4个事务的代价是可以接受的。此时恢复的即时性就由新增事务多长时间内会实际存入磁盘决定单独开启一个线程以最快的可能速度往某个单独的日志文件末尾追加。
- 前端一个使用正经框架写的简洁美观的UI无响应式设计。
## 快照系统