中午吃饭时大略分析了一下Douyu的业务实现过程,趁着没人偶赶紧发上来……由于该平台尚未开源,分析可能存在某种程度的误差,对与不对有赖读者自辨……
咳, 经过一段相当漫长的钻研,偶得出如下结论:
就目前所见,Douyu项目由com.douyu.config,com.douyu.engine,com.douyu.engine.core,com.douyu.engine.db,com.douyu.engine.dialect,com.douyu.engine.http,com.douyu.engine.http.buf,com.douyu.engine.http.fileupload,com.douyu.engine.http.session,com.douyu.engine.http.util,com.douyu.engine.log,com.douyu.engine.util,com.douyu.http(不理解为什么不同com.douyu.engine.http写一起……),com.douyu.main,com.douyu.security,com.douyu.sql,com.douyu.tree,com.douyu.util等包组成。
由于重写了javac的部分java编码,Douyu可以“表面上”直接读取Java文件,也就是Douyu可以不需手动编译即可令Java文件被执行,也可以动态增删java文件内容,但与常见的java字节码修改不同,Douyu的动态特性依赖于添加相应字符串到java文件对应内容后的重新编译。
在Douyu的engine.core包下有两个非常重要的组件,堪称是Douyu的核心所在,一个是调用com.sun.tools.javac包的javac类,一个是真正用于处理Douyu中javac命令的CleverCoder类(在com.sun.tools.javac.main.JavaCompiler与com.sun.tools.javac.comp.Enter中被调用),应该说,javac只是一个调用数据的马甲,而核心在于CleverCoder。至于CleverCoder对于java文件的处理原理,则与jsp生成servlet的原理相类似(顺便说一下,前天偶提到Douyu只能加载静态页面,现在看来并不确切,应该是Douyu可以将view层转义为Java文件,再编译执行转义后的文件并反馈到页面中去,由于Douyu中存在ViewEntry,view数据也会经由updateView函数进行逐行分析后处理并反馈,其与jsp转servlet过程大同小异,但对其运行效率保留意见……)。
Douyu加载java文件与类使用自定义的ResourceLoader,其继承关系如下:URLClassLoader->LibClassLoader->ResourceLoader。
ResourceLoader内部依赖Javac,以ConcurrentHashMap缓存数据,Douyu在每次loadResource时都会判断目标对象是否存在,存在则调用已有对象,不存在则调用异化后的javac生成该对象。纵观整个Douyu平台对ResourceLoader的调用,显而易见Douyu中ResourceLoader重点不是用于加载class。与标准ClassLoader相比,ResourceLoader更像一个javac命令的缓存与执行器,它之所以存在,实际上就是要加载java文件本身,类加载功能反倒其次。
目前来说,ResourceLoader处理不同功能的函数接口并不统一,针对不同功能需要分别调用对应函数,例如在其DefaultContext中out时尚需要分别调用loadClassResource与loadStaticResource,而在Database的MetaData类中又需要调用compileClass(内部会调用findClassOrClassResource查询指定类,有类加载,没有则调用javac编译java文件后加载),到了http包下属的Connector里又得加载loadResource来匹配类与PrintWriter中数据。
Douyu目前涵盖有http请求与反馈、db操作、security验证等主要功能,但实现程度普遍较低。比如数据库方言仅支持mysql、oracle、sqlserver三种,而且只有mysql与oracle实现了不同的limit与非常少的操作优化,sqlserver部分暂时看还是空壳。security中的rule还只有一个接口,没有看到具体业务逻辑与调用,能够被checkPermission函数处理的Permission实现也非常有限。http协议部分虽然拥了有最基础的协议解读能力,但也仅仅是最基础的能力而已,比如目前我即不能向Douyu服务器要求对目标资源进行gzip压缩,Douyu也不可能根据浏览器判定此要求是否可行,更不要说反馈数据了,诸如此类的不足还有很多(仅以偶07年在各大小说网站刷票得到的http协议应用经验看),建议作者去找一份http1.1协议文档逐一比对并分别实现。没办法,谁让Douyu是个孤立的平台,开发难度自然大些(不过都写上的话,性能又会大打折扣,照目前的业务逻辑完全补足协议与相关功能后,我断言Douyu效率比不上Tomcat6,所以系统尚待优化)……
综上所述,窃以为Douyu平台在技术上存在可行性与创新性(如果作者有闲钱的话,可以考虑在国内申请个技术新型专利,最起码摆着好看),只是业务功能暂时不足,部分领域有待分工与优化,尚不具备很强的实用性,希望作者响应国父“革命尚未成功,同志仍需努力”号召,持续发展,与时俱进,吾辈就以观后效了……
以下拣选了两张分析代码时生成的Douyu关系图(感觉比较散啊,侵入性太强了……):
分享到:
相关推荐
https://blog.csdn.net/xbw12138/article/details/81478225 通过分析直播弹幕数据,对主播进一步了解。
斗鱼直播竞猜项目
这是一个高仿斗鱼直播的一个App项目,很适合学习一下
斗鱼产品分析:泛娱乐直播平台的探索之路.pdf
本次项目是移动应用网页课程的大作业。 本项目基本就是斗鱼手机移动端的复刻,除了没有评论功能,以外功能都差不多,其后端也是对接的官方的api接口。采用纯Vue开发的移动页面,后端对接官方api
斗鱼主页特效
这是仿斗鱼直播APP的源码,可以用来学习APP直播技术,若是要商用,建议还是购买正版
斗鱼Html5播放器Chrome插件,可自动取代斗鱼页面的Flash播放插件,使用html5进行播放。
c#斗鱼直播弹幕实时获取,基于TCP协议封装。
python 斗鱼自动发送弹幕。 识别图像并定位到发送按钮,输入文字,点击发送。
本项目是模仿斗鱼iOS最新版本,使用 `Swift4.0`开发,所有资源均来自斗鱼,API接口通过抓取斗鱼App获得,仅供学习参考使用。 整个项目比较大,我是利用闲余时间写的,未完成功能较多,后面会持续更新完成。。。 请...
爬虫脚本项目源码-爬取斗鱼颜值主播
英雄联盟lol直播、穿越火线cf直播、dota2直播、激战2等各类热门游戏赛事直播随时观看,“斗鱼直播”打造全民游戏直播热潮! 【更新说明】 【注意】如遇到版本升级失败,请到斗鱼官网下载最新版本安装。 【优化】...
高仿斗鱼app源码
1、Scrapy的简介。...主要知识点:创建Scrapy项目(scrapy startproject)、定义提取的结构化数据(Item)、编写爬取网站的 Spider 并提取出结构化数据(Item)、编写 Item Pipelines 来存储提取到的Item(即结构化数据)。
仿斗鱼iOS最新版本,使用 Swift4.0开发,所有资源均来自斗鱼,API接口通过抓取斗鱼App获得,仅供学习参考使用.
已打包为exe,可以直接运行。 双击exe,弹出cmd窗口,显示运行数据,并写入txt。 关闭程序,结束获取,已获取部分可正常,不受影响。 源码,请参考博客。
斗鱼弹幕效果展示
Android高仿斗鱼TV项目架构采用MVP模式,使用 Retorfit2.0 RxJava1.0 OKhttp Fresco Rtmp直播,高仿斗鱼TV项目,仅供代码参考学习!
原理: 基于获取m3u8链接,通过FFmpeg解析,下载视频 ...2. 打开斗鱼视频站看一个视频。 http filermonitor会拿到视频的playlist 3. 将playlist 拷贝粘帖到hls下载助手点击开始。 4. hls下载助手下载文件后合并成ts视频