IT职业

对于Pyspider爬虫框架你知道多少?

Pyspider 是一个用python实现的功能强大的网络爬虫系统,能在浏览器界面上进行脚本的编写,功能的调度和爬取结果的实时查看,后端使用常用的数据库进行爬取结果的存储,还能定时设置任务与任务优先级等。

li_zhi521
IT职场
2019-01-08 14:06

简化 MongoDB 关联运算

【摘要】        MongoDB提供的 lookup 对多表关联实现了基本的支持,但面对一些比较复杂的关联情况,往往会遇到 shell 脚本过于复杂的问题。而集算器 SPL 语言,则因其离散性、易用性恰好能弥补 Mongo 这方面的不足。若想了解更多,请前往乾学院!      &nb

嘟嘟是只喵
IT职场
2018-12-31 22:27

网站一直优化不动,是不是被惩罚?

SEO是一个千变万化的工作,你的每一个优化策略,都决定网站不同的走向,在很长一段时期中,我们通常会遇到各种问题,比如:网站一直优化不动。  长期停留在某个阶段,这让SEO人员,显得无所适从,经常会思考,是不是网站被惩罚,面对这种问题,我们不能妄下定论,而是需要根据实际情况分析。  那么,网站一直优化不动,是不是被惩罚?  根据以往的SEO实战经验,蝙蝠侠IT认为:如果

batman360
IT职场
2018-12-31 10:27

张勇谈阿里组织架构调整:学会“用人做事”,不仅是“做事用人”

在阿里内网,阿里巴巴集团CEO张勇(逍遥子)的这篇讲话创下了高点击。这源于本月他在阿里青训营(青年干部培训营)上谈了对阿里最近组织架构升级的思考——今年11月底,阿里进行了一年一度的组织架构调整:阿里云升级为阿里云智能;天猫升级为“大天猫”,形成天猫事业群、天猫超市事业群、天猫进出口事业部三大板块;加强技术、智能互联网的投入和建设。

工匠小猪猪的技术世界
IT职场
2018-12-29 15:49

一位 40 岁老程序员的反思

本文作者已经年满 40 岁了,本文是他对职业生涯的思考。他认为从长远来看,应该多投资一些不容易过期、衰竭期较长的知识领域中。

码洞
IT职场
2018-12-28 17:55

阿里毕玄:程序员应如何选择职业成长路线?

阿里系统软件、中间件、研发效能负责人毕玄结合自己的经历跟大家讲述了他在各个角色上成长的感受。在他的职业发展中,他经历了技术能力的成长、架构能力的成长,以及现在作为一个在修炼中的技术 Leader 的成长。其中技术能力和架构能力的成长是所有程序员都很需要的,值得所有正为职业发展而迷茫的技术同学细细品味。

阿里系统软件技术
IT职场
2018-12-26 16:43

【DTCC2019】数据风云,十年变迁 - 第十届中国数据库技术大会隆重启动

作为国内备受关注的数据库及大数据领域技术盛会,第十届中国数据库技术大会(DTCC2019)隆重启动,将于2019年5月8日-5月10日,在北京市新云南大酒店召开。DTCC历经十年,见证并铭记了国内数据库技术的关键成长历程,本次大会又将是国内数据库技术领域的一次百花齐放的技术盛会。数据风云,十年变迁十年来,数据库技术领域风起云涌,呈现出百舸争流的局面。过去持续了30年的关系型数据库技术的垄断竞争局面

格伯纳
IT职场
2018-12-26 15:58

如何理解“跳出率”,它对SEO有什么影响?

跳出率是搜索引擎优化专家,多年以来热衷讨论的话题,特别是在衡量企业网站相关产品转化率的时候,有着重要的参考价值,但在以往的数据分析中,却又是经常被SEO人员所忽略的指标。因此,正确的认知“跳出率”对网站优化显得格外重要。那么,如何理解“跳出率”,它对SEO有什么影响?根据以往的SEO工作经历,蝙蝠侠IT认为,我们应该从如下几个角度,尝试解读跳出率:1、跳出率与排名的相关性针对SEO统计,相关数据分

batman360
IT职场
2018-12-19 18:42

十年磨剑·大巧不工

今天不讲技术,主要分享作为IT民工最近十年的职业历程,希望能给大家一点启发和帮助。我喜欢看电影,几年前有一个视频,说生活就像是一场电影,但是你会发现,可能生活比电影还精彩,因为更真实。

IT民工闲话
IT职场
2018-12-17 18:09

SQL 难点解决:序列生成

1、    生成连续整数序列MySQL8:  with recursive t(n) as (select 1union allselect n+1 from t where n<7)select * from t;Oracle:select level nfrom dual connect by level<=7;集算器 SPL:A1:构造从

嘟嘟是只喵
IT职场
2018-12-17 14:41

2018年十大流行词【程序猿版】

巨婴,常用含义:指心理滞留在婴儿阶段的成年人,人群画像:现指什么都搞不定到处找同事帮忙的人,遇到问题想都不想,连自己写的代码都敢直接拉你过来调,看上去像是个宝宝

京东云
IT职场
2018-12-11 14:54

玩转Mongo计算

MongoDB属于 NoSql 中的基于分布式文件存储的文档型数据库,是非关系数据库当中功能最丰富,最像关系数据库的。它支持的数据结构非常松散,是类似 json 的 bson 格式,因此可以存储比较复杂的数据类型。Mongo 最大的特点是它支持的查询语言非常强大,其语法有点类似于面向对象的查询语言,几乎可以实现类似关系数据库单表查询的绝大部分功能,但是写起来并不简单。若能集算器 SPL 语言结合,

嘟嘟是只喵
IT职场
2018-12-10 22:29

你必须知道的爬虫技巧

大数据时代,无论是设计产品还是营销推广,都需要以科学的数据分析为依据。现在想要获得海量的有效数据,还得依靠爬虫技术的帮助,而爬虫在开发过程中也有很多复用的过程,这里总结一下,以后也能省些事情。1、Cookies处理cookies是某些网站为了辨别用户身份、进行session跟踪而储存在用户本地终端上的数据(通常经过加密),python提供了cookielib模块用于处理cookies,cookie

li_zhi521
IT职场
2018-12-08 12:39

爬虫实例 利用Ajax爬取微博数据

随着代理IP技术的普及,爬虫的使用也变得简单起来,许多企业和个人都开始用爬虫技术来抓取数据。那么今天就来分享一个爬虫实例,帮助你们更好的理解爬虫。

li_zhi521
IT职场
2018-12-07 16:15

【人物志】技术十年:美团第一位前端工程师潘魏增

从饭否到美团,潘魏增用十年的技术生涯,诠释了“长期有耐心”这句话的含义。在他看来,长期有耐心,其实也是延迟满足感。对从事的行业来讲,我们要把眼光放得更长远一些,十年后才有回报的生意,往往都是大买卖。对个人来讲,不要把职位、职级这些虚的东西看得过重,关键看我们自己在其中承担什么角色,看我们自己的能力是否还有成长的

美团技术团队
IT职场
2018-12-07 16:02