曾经风光无限的天涯社区关门大吉了，itpub这个论坛不知道还能撑多久?

yulihua49

newkid 发表于 2023-6-10 20:06
我完全同意你对这个算法的评价，华而不实，过度复杂，无法校验，难以服众。你用了并行计算让这个垃圾算法变 ...

理论上讲，可以换。
实际上，换成DB2是可能的，虽然可靠性方面有点问题。
但是换成MYSQL问题就比较大，主要是它的批量处理太奇葩。必须是写一个超长的SQL，把每行每列的数据都写出来。
也不是不能做，就是这个方法太笨。

yulihua49

newkid 发表于 2023-6-10 20:06
我完全同意你对这个算法的评价，华而不实，过度复杂，无法校验，难以服众。你用了并行计算让这个垃圾算法变 ...

能静态的都是静态的内存表，定期更新。
运行图是半静态表，几个小时更新一次。

yulihua49

〇〇 发表于 2023-6-10 10:28
11个小时 vs 2.5分钟, 厉害

不在一个平台。主要是并行任务调度。
另一个原因是提供更高效的检索方法。原开发者告诉我，主要时间消耗在检索。他使用了STL。他那个计算时间不包括数据库，是文件到文件。数据源是文件，基础数据表是文件，计算结果也是文件。
我还得把它改到数据库里。这样才有实用价值。改了它的检索方法，使得单个UD的处理速度也得到极大的提升。

newkid

yulihua49 发表于 2023-6-11 09:51
能静态的都是静态的内存表，定期更新。运行图是半静态表，几个小时更新一次。

我说的静态分配表，是根据起点终点，最多加上时间参数，事先算出分配比例存到表里。整个清算过程无非就是一个表连接。现在你们用巨大的算力来倒推每个用户可能的路线，是一种资源的浪费，谁会关心这个？
其实这个需求本来就是个笑话，利益分配难道不是应该根据投资比例来算吗？就是一个小学乘法公式而已。要不然谁会投资冷门路线呢？奇怪的是这些精明的生意人怎么会被你们技术派忽悠？

KEN6503

newkid 发表于 2023-5-8 20:49
多谢捧场！我一定站好最后一班岗！

大师一定要坚持，几年来在这里得到很多帮助也学习了很多东西。谢谢大师

yulihua49

newkid 发表于 2023-6-11 20:03
我说的静态分配表，是根据起点终点，最多加上时间参数，事先算出分配比例存到表里。整个清算过程无非就是一 ...

你说的叫做两阶段双比例法，原来就是这么算的。有的业主不同意，要求按实际径路计算。

在选择路径阶段，按各条路线概率比例进行选择。
在清分阶段，按经过的各线路距离的比例进行清分。
至于按运行图计算，理论上更科学，是boss提出的，后来交给同济大学去研制算法。他们只提供算法，没有程序。
程序是一个团队来做。我是后来加入这个团队的，我的任务就是提供计算资源，算法好不好不归我管。我要是说算法不好我不干了，就别吃这碗饭了。

那时候小头头找到我，说的是，他们对算法的结果满意，就是太慢了，问我有啥法子弄快一点。

所谓静态表，大概有这么几个：
路由表，及每条路由的权值，事先计算好。增加新线需要重新计算。
车站及线路表。
换乘的走行时间表，需要区分平日周末节假日。高峰平峰什么的。
节假日表。
留乘系数表，有时乘客赶上第一辆车他不上，等下一辆叫留乘。

最重要的就是运行图表了，几小时更新一次。
我需要为所有这些表提供内存检索及关联（在关系数据库中就是join）工具。

newkid

静态算法至少有章可循，如果有异议可以复核，分配权重可以讨价还价到所有人都满意。结果“有的业主不同意”？那么现在这种做法，难道就从未产生过异议？有没有业主觉得某个月数据有误，自己分到的钱太少了？那要怎么办？
有没有可能这个报表只是做做样子，实际上的清分根本就不看这些数据？

yulihua49

newkid 发表于 2023-6-21 23:31
静态算法至少有章可循，如果有异议可以复核，分配权重可以讨价还价到所有人都满意。结果“有的业主不同意” ...

你说的有道理。事实上该系统已经试运行10年，并没有真正用到清分上。
但是它产生的数据一直在用，各次列车客流统计，除此别无它法。

newkid

yulihua49 发表于 2023-6-22 20:48
你说的有道理。事实上该系统已经试运行10年，并没有真正用到清分上。但是它产生的数据一直在用，各次列车客 ...

哈哈，我猜就是这样，这不过是花钱的一个名堂，项目经费到手了，各方面赚个盆满钵满，就剩下技术在自嗨，煞有介事地搞什么“算法”，“优化”，其实就用那个"两阶段双比例法"也照样可以做客流统计而且八九不离十，大屏幕一投花花绿绿的，领导保证高兴。
这种追踪特定路线只有在破案时可能排上用场，但你们又不是公安。

yulihua49

newkid 发表于 2023-6-23 10:47
哈哈，我猜就是这样，这不过是花钱的一个名堂，项目经费到手了，各方面赚个盆满钵满，就剩下技术在自嗨，煞 ...

那我们撇开这个项目，计算密集型的算法，可采用此种架构。
比如K短路径算法，N多路径的，这法子也可以有效缩短时间。比如500个站的全部路径，500个站的全部参数来自数据库，结果需要存到数据库的。