[设计] SP独立市场配置功能设计讨论

[Fatman13]

来自 @diwufeiwen 的设计

市场属性配置

Simple Summary (概述)

矿工可以自己配置存储市场和检索市场的属性。

Abstract (功能简介)

venus-market 支持矿工的市场交易属性可独立配置，并可以由矿工自己配置，而不是通过链服务维护人员间接进行。

venus-market 推荐作为独立组件部署，将 solo-run 模式作为默认启动方式。（为什么这样做后文会详细讨论）

关联：

• 提案的issue

Motivation (来源/背景)

Filecoin 网络中的矿工参与市场交易需要一些属性来保证交易过程正常进行，也可以通过一些属性来设置自己的交易取向，如：仅接受可验证订单、只进行离线订单等。目前的可配置属性如下：

# Default config:
ConsiderOnlineStorageDeals = true
ConsiderOfflineStorageDeals = true
ConsiderOnlineRetrievalDeals = true
ConsiderOfflineRetrievalDeals = true
ConsiderVerifiedStorageDeals = true
ConsiderUnverifiedStorageDeals = true
PieceCidBlocklist = []
ExpectedSealDuration = "24h0m0s"
MaxDealStartDelay = "336h0m0s"
PublishMsgPeriod = "30s"
MaxDealsPerPublishMsg = 8
MaxProviderCollateralMultiplier = 2
SimultaneousTransfersForStorage = 20
SimultaneousTransfersForStoragePerClient = 20
SimultaneousTransfersForRetrieval = 20
Filter = ""
RetrievalFilter = ""
TransfePath = ""
MaxPublishDealsFee = "0 FIL"
MaxMarketBalanceAddFee = "0 FIL"

在目前的 venus-market 实现中，所有的矿工共用一份配置，无法单独为某个矿工配置交易属性。

venus-market pool-run 模式下，矿工无法对交易属性进行直接管理：查询和配置。

venus-market pool-run 模式下，pieces数据在目前的协议下无法直接存储到SP的封装机器，在封装过程中需要下载，当订单量较大时，对网络带宽的要求较高，故推荐将venus-market作为独立组件部署。
后续协议(boost?待考察)支持订单交易中可以将数据直接存到SP封装机器上时优先推荐作为链服务组件?

Specification (feature Spec)

默认的部署方式

将 solo-run 模式作为默认的启动方式。主要是为了减少不必要的数据传输，原因见上文。

属性配置

• 有一套全局的属性表，当矿工没有独立配置时采用全局配置；
• 矿工有独立的属性表。

用户界面

• pool-run 模式下，通过 venus-sector-manager 提供的命令进行配置；
• solo-run 模式下，通过 venus-market 提供的命令修改配置文件（config.toml）进行配置；

Design Rationale (设计思路)

Backwards Compatibility（兼容性）

不存在兼容问题，将原本的配置作为全局配置，矿工未配置独立的属性时采用全局属性。

Test Cases (测试用例)

Security Considerations (安全考量)

Implementation（实施）

[Fatman13]

关联PR：

• feat: market attributes of miners self-config venus-docs#351

[Fatman13]

下面这样做的话，科学吗？

[litai686]

把链服务的makert让SP自己跑本地模式，好处如下：
1、SP可以自行公开自己的IP地址
2、SP可以更清楚的看到订单状态
3、client可以直接把切好的piece，通过离线方式传输给SP，SP配置好导入封装即可，无需再经过链服务中转，效率更高

[diwufeiwen]

这个图里piece data直接到venus-cluster需要离线模式部署。作为本地部署好处文档说了，这里的也都是，不好处就是SP需要维护一个固定的IP并公开一个端口。我基本统一你的想法，与其多一个有缺陷的链上模式，不如直接砍掉，做更好的本地模式。

另外，把venus-market移到本地模式，可能是个野望的降级，最初是想market服务并协调多用户多矿工的市场交易，可以在检索时有一定合作，本地模式后最大的部署方式应该是管理一个用户的多矿工交易了，hh

[litai686]

建议取消掉链服务market模式，只保留solo 模式即可：离线订单可进行优化，逻辑如下：

离线模式一： market-sp跟market-client协商好，由 market-sp自行下载数据，并处理好数据（piece文件）, SP把处理好的文件信息交给market-clinet，market-clinet导入后签名，把签名好的消息发送给market-sp根据配置进行消息批量推送上链，进行封装

离线模式二： 目前弹弓比赛的业务逻辑

[Fatman13]

market怎样一个流程能更好接入弹弓比赛？

[Fatman13]

前面询问了一个大佬的意见。我在想，venus-market聚合sp的点是不是不一定在链服务，而是在以idc机房，聚合在idc机房这一层？为idc机房有内网的不同SP提供订单/检索服务？

[cloudxin]

solo模式情况下，对于现有孵化订单加速会有一些影响:
1、发单者无法统计到给一个用户到底发出多少DC的订单，除非每次手动记一次；
2、现有环境统一都是走SSL的wss协议，到用户本地就是默认的ws协议；
3、不建议用户有直接访问venus-auth权限，solo模式下应该避免。

[diwufeiwen]

这里对此做一下进一步的注释：1. 是用了自己开发的批量发单工具，可以对market-client改造，支持批量，并将发单记录到数据库可以满足； 2. market-client给SP的发单协议取决于SP有没有ssl证书，实际场景大概率是ws协议，影响应该不大； 3. venus-market最为本地组件后，其矿工将由自己管理，不再从venus-auth请求

[Fatman13]

1. 3个大场景/流程：企业级运维，企业级market用户，Boost协议兼容
2. 功能/feature兼容：deal filter？，metrics监控？，多SP支持？
3. 明年6月与土星（检索节点）兼容；

[diwufeiwen]

这个对于目前的discussion太过延伸了，这个是关于市场交易配置的，部署在链服务还是独立部署涉及实现方式，所以具有关联性，至于企业级运维，boost兼容应该另开discussion讨论才是，建议放兼容boost那个里面去讨论，要抓主题，延伸太广不便形成结论。hh

[Fatman13]

设计时，简单考虑下，看看能不能把场景大概囊括一下，不用很深入讨论？

[diwufeiwen]

• venus market 去pool， solo模式，单一的启动模式
• venus market 高可用，负载均衡
• 多矿工访问同一数据源VPC（局域网），多矿工检索
• market client 批量发单，发单记录（数据库？）