Skip to content

Latest commit

 

History

History
325 lines (248 loc) · 14.6 KB

20231104_01.md

File metadata and controls

325 lines (248 loc) · 14.6 KB

德说-第265期, 掌握超级信息检索技术, 产生信息差 - 普通人变强的唯一外挂 | 全套宝藏实操秘技

作者

digoal

日期

2023-11-04

标签

PostgreSQL , PolarDB , 搜索 , 信息 , 信息差 , why , what , where , how , 为什么搜索 , 搜索什么 , 去哪里搜索 , 怎么搜索 , 获得信息 , 素材+学习平台 , 素材+创作平台 , AIGC


背景

开篇之前, 先介绍一下我在很多场合都分享过的方法论:

希望以上方法论能帮助到大家, 如果你想要成功, 可能需要具备的一些基本能力如下:

  • 1 赛道选择(男怕入错行): 行业发展趋势, 赛道宽度(市场规模). 另外也需要提一下随着AI的发展, 或者你对底层通用技能的掌握程度, 决定了你是否能更加顺滑的切换赛道.
  • 2 专业领域能力: 也就是你选中赛道后, 你可能需要学习了解的专业技能.
  • 3 思维框架: 通用能力, 一定程度决定了你的职业天花板、职业角色丰富度、职业宽度. 例如第一性原理, 哲科思维. 可以学习一下混沌大学体系课程.
  • 4 公理体系: 思维框架的补充, 形成肌肉记忆.
  • 5 先进生产力工具: 这个不用说了, 掌握先进生产力工具, 是你和其他人拉开差距的有效手段.
    • 掌握先进生产力工具, 目的是通过利用工具实现你相对于其他人的几个优势:
      • 你能做到, 别人做不到
      • 你做得更好
      • 你做得更快
    • 1. https://runwayml.com ---抠图
    • 2. beautiful.ai ---做PPT
    • 3. chatvideo ---中文名一语成片, 是个小程序. 打字生成视频
    • 4. https://echarts.apache.org/zh/index.html ---做图表
    • 5. https://tinywow.com ---文件, 视频, 图片等处理或转换
    • 6. https://wantwords.net ---汉语词典(反向)
    • 7. http://www.yoojober.com ---写简历
    • 8. supercopy ---网页复制. 是个edge or chrome浏览器常见插件, 可以直接浏览器搜名字就可以下
    • 9. https://vizard.video ---录屏: 也可以使用钉钉群直播分享存储为mp4下载 OR quicktime 录制 OR Camtasia
  • 6 信息检索能力, 链接和掌控信息: 信息差也是你和其他人拉开差距的有效手段.
  • 7 影响力, 链接和掌控资源: 圈子内的影响力, 以及你可以链接到的圈子内的企业、关键人物等. 拓宽你的合作对象, 拓宽你的职业发展道路, 提升你的职业天花板.
  • 8 战绩: 用数据、案例证明你的能力. 例如你在知名开源项目中的代码贡献度, 是你在该领域最有效的能力证明. 例如某特别成功的项目中, 你担任了关键角色.

这一期重点分享一下信息检索技能, 内容是来自一位B站宝藏UP的视频分享: 檀东东Tango. 本篇信息主要是以下视频的整理提炼. 欢迎大家关注UP.

why, 为什么要搜

  • 知道, know something
  • 学习, learn something
  • 创作, create something
  • 任务, do something

what, 搜什么

为了实现为什么的目的, 我们需要搜索什么?

  • 信息咨询
  • 知识技能
  • 创作素材
  • 工具软件

where + how, 去哪里搜? 怎么搜?

1 信息咨询:

关于信息咨询搜索, 国外推荐: google, youtube. 国内推荐: google + 公众号.

1、公共信息使用搜索引擎进行搜索

搜索引擎搜索技巧:

  • 普通搜索, 不带限定双引号: 在内容和标题中进行全文检索, 相当于 column @@ ts_query('搜索词') , 包含所有的token即可. 例如
    • 搜索“香港刘德华”被拆分成2个token: 香港、刘德华. 只要内容、标题内出现了香港和刘德华即可. 甚至会返回fuzzy的结果. 例如 易阳千喜, 返回可能包括 易烊千玺. 属于读音fuzzy相似, 也会返回.
  • 限定关键词: "关键词" , 忽略大小写, 相当于 ilike '%关键词%' . 不进行分词, 而是使用原始内容作为单一的token进行搜索, 也不会返回fuzzy的结果. 搜索“香港刘德华”那就要包含这5个连续组合的字组成的精准token.
  • 在标题中搜索:
    • intitle:关键词
    • intitle:"关键词"
    • intitle:"关键词1" "关键词2"
  • 同时包含多个关键词:
    • allintitle:关键词1 关键词2
  • 标题并且内容中都指定关键词:
    • intitle:"标题中出现关键词1"
    • intext:"文章内容中出现关键词2"
  • 内容中既包含又包含限定关键词:
    • intext:"关键词1" "关键词2" "关键词..."
  • 搜索内容的来源限定, 例如
    • 李子柒 inurl:cctv -- 限定来源URL网址中包含cctv
    • 李子柒 inurl:cctv intext:youtube -- 央视网对李子柒的报道, 并且内容中还提到了youtube
  • 搜索内容的来源限定, 例如
    • 李子柒 site:cctv.com -- 限定来源为cctv.com
    • 母婴 site:199it.com
    • 搜索语法 site:zhihu.com
    • 2024推荐免试 site:zju.edu.cn
    • little cat site:pexels.com -- pexels.com里的小猫图片
    • little cat site:pixabay.com -- pixabay.com里的小猫图片
    • little cat site:gettyimages.co.jp -- gettyimages.co.jp里的小猫图片
    • little cat imagesize:3840x2160 -- 限定图片的大小, 其他: 2560x1440 1920x1080 7680x4320 5760x3840
  • 限定结果的文件格式, 例如
    • 研究报告 filetype:pdf
    • 母婴行业2023 filetype:pdf
    • 中国数据库2023 filetype:pdf
    • 大语言模型 filetype:pdf
    • intitle:"数据库" "2023" "报告" filetype:pdf
  • 在google 图片搜索栏搜索图片, 指定图片格式. 例如
    • 大象 filetype:png
    • arrow filetype:png
    • polardb icon filetype:png

2、私域内容搜索, 原因是随着移动端的用户使用时长不断超过PC端, 大量内容提供方在移动平台创作内容, 搜索公众号内的信息就变得很有必要. 但是腾讯比较封闭, 搜索引擎无法找到公众号的信息, 需要使用专门的产品.

  • 微信app里面的搜一搜功能
  • 搜狗

3、有些时候需要从源头进行搜索:

花西子化妆品何首乌眉笔成分, 到“国家普通化妆品备案信息”查找, 输入包装盒上的(执行标准编号)备案编号, 查看, 成分表, 化妆品注册备案资料管理规定, 成分必须从多到少排序, 我们就比较容易宣传添加了xxx, 同时知道添加成分到底占比有多少.

产品详细参数, 上电商网站. or 产品手册.

官方网站.

第三方官方媒体. 公众号 ...

2 知识技能

知识技能是比较体系化、源头化的内容. 根据不同的内容所处载体分类, 分别介绍如何获得对应的内容.

2.1 网页

google + 微信里的搜一搜 或 搜狗web

文字类中文资料

  • 通常只需要关注 知乎、微信公众号.
    • 使用搜狗搜索可用支持微信和知乎搜索. google不能搜微信公众号(腾讯比较封闭. 只能用微信里的搜一搜, 或搜狗web).

垂类网站:

  • programmer : github stackoverflow csdn ...
  • 使用 google 搜索
    • 产品经理导航网址
    • 设计师导航网址
    • 新媒体导航网址
    • xx行业必逛的网站 或
    • xx岗位必逛的网站 或
    • websites programmer should visit 或
    • xx awesome

2.2 pdf 电子文档

报告+学术论文 通常以pdf形式存在. 怎么找?

报告

  • google
    • 关键词 filetype:pdf
    • 关键词 inurl:baogao -- 报告网
  • similarsites
    • fxbaogao.com -- 例如搜索类似fxbaogao的网站

学术论文

  • google scholar -- 谷歌学术, 支持搜索语法
  • sci-hub.ru -- 只能按论文完整题目进行搜索

2.3 电子书

中文电子书

  • jiumodiary.com -- 鸠摩搜书
  • 微信读书 app
  • 得到 app

英文电子书

2.4 音视频教程

  • 通过 google 搜索相关网址, 例如
    • best online learning websites
  • 短视频 app -- 零碎 知识
  • youtube -- 体系 知识
  • b站 -- 体系 知识
  • 网易云课堂 -- 体系 知识
  • 腾讯课堂 -- 体系 知识
  • 可汗学院 -- 体系 知识
  • openculture
  • coursera
  • udacity
  • edx
  • 喜马拉雅 -- 体系知识, 音频交付应对碎片化时间需求
  • 混沌大学

2.5 云盘

  • 通过 google 搜索相关网址, 例如
    • 百度网盘搜索引擎
  • www.xuesousou.net
  • 盘搜搜
  • 云盘狗

3 创作素材

使用时注明出处.

通过 google 搜索相关网址, 例如

  • best sites for free stock videos

视频、图片素材

音频素材

  • 通过 google 搜索相关网址, 例如
    • best sites for free bgm
    • royalty free bgm sites
  • pixabay.com

图片素材

  • 通过 google 搜索相关网址, 例如
    • 关键词 imagesize:3840x2160 -- 其他: 2560x1440 1920x1080 7680x4320 5760x3840
  • pexels.com -- 免费无版权
  • pixabay.com -- 免费无版权
  • unsplash.com -- 免费无版权
  • gettyimages.co.jp -- 有版权, 但是有办法可以下载. 其他有版权网址类似, 使用google搜索 xxx downloader
  • gif 动图
    • 通过 google 搜索相关网址, 例如
      • best gif sites
  • icon 图标
    • 通过 google 搜索相关网址, 例如
      • 关键词 icon filetype:png
    • iconfont.cn -- 阿里贡献的网站

文件素材

4 工具软件

推荐使用优先级: 使用在线工具 -> 安装软件 -> 安装软件的插件

  • 在线设计海报: canva.com
  • 在线抠图: remove.bg
  • 文字转语音: 腾讯智影 or Azure
  • 脑图/概念图: https://miro.com/ or canva.com
  • 找台词: 找台词网
  • 在线剪辑视频: clipchamp or flexclip
  • 测网速: fast.com https://www.speedtest.cn/
  • 检测陌生链接安全性: virustotal.com
  • 生成人脸图像: thispersondoesnotexist.com -- ai合成的不存在的人脸, 不会侵犯肖像权. 刷新即可
  • 字母组合成单词: litscape.com -- 造词功能
  • 通过 google 搜索相关网址, 例如
    • xx需求 + online 搜索即可得到online saas服务.
  • 找某个软件的替代软件: alternativeto.net
  • chrome 提效插件:
    • 通过 google 搜索相关网址, 例如
      • best chrome extension productivity
  • 软件插件:
    • 通过 google 搜索相关网址, 例如
      • best powerpoint plugin
    • powerpoint 软件插件
      • islide

2023的新兴搜索产品, 更加贴近搜索的最终目的 (懒人推动世界变革)

体现了 需求导向-结果导向-目标导向.

1 平台

2023, saas平台更进一步, 体验更好, 直奔搜索的最终目的.

直奔以学习为目的的搜索产品:

1、搜索+学习

  • 得到app

直奔以创作为目的的搜索产品:

2、搜索+创作

  • canva.com -- 人人都可以用的在线设计平台 ppt,视频,海报,概念图,PR,办公协同等...

2 AIGC

chatgpt: -- 更进一步, 体验更好, 直奔搜索的最终目的.

  • 推理预测
  • 对回答进行追问(多轮对话)
  • 多个对象的分析对比 -- 例如对比一下PostgreSQL和MySQL.
  • 多个问题组合在一起的综合问题
  • 文生图 -- 整合dall.e3 后的能力

digoal's wechat